探究银行营销行为对用户购买行为影响——基于uplift模型的因果效应研究

Powerbattle

已于 2024-03-17 13:06:07 修改

阅读量839

点赞数 24

文章标签：人工智能机器学习 pandas python

于 2024-03-16 18:05:29 首次发布

本文链接：https://blog.csdn.net/qq_52073614/article/details/136763601

版权

第一章 uplift模型简介
uplift模型，也即增益模型，也即是干预动作(treatment)对用户的响应行为（outcome）产生的效果，是一种研究同一样本在不同干预条件对outcome的影响的研究模型。由于在现实条件是不可能获取到同一样本在不同干预条件下的数据表现情况，因此这种研究是基于反事实条件的，增益模型强依赖于随机实验（将用户随机分配到实验组&对照组）的结果数据。

举个例子来介绍此模型，一个商场打算发放优惠卷以提高用户的购买率，目前测得用户的购买率为10%，我们需要对所有用户都发放优惠卷，答案当然是否定，一是优惠卷本身具有成本，二是优惠卷应当发放给那些对价格比较敏感的人群，提高发放优惠卷人群中的购买转化率，那么怎么才能定位到这批营销敏感人群呢。Uplift的分析思路是这样的，把所有人群分为四类：
Persuadables：不发送优惠券则不买，发送优惠券则购买；
Sure things：不论是否发送优惠券均会购买；
Lost causes: 不论是否发送优惠券均不会购买；
Sleeping Dogs: 不发送优惠券会购买，发送优惠券反而不买；
第二章项目介绍
本项目的数据来源于网新银行举办的数据建模比赛的数据，特征包含三类数据，客户基本信息（x1-x11）,行为类数据（x12-x56）,风险评分类数据（x57-x161）,但具体是什么特征我们并无从得知，因此想从特征实际意义入手分析建模是及其困难的。数据包含训练集30000个样本，测试集10000个样本，每个样本除开161个特征变量，还包括干预变量（treatment）和响应变量(y),干预变量把数据集分为两类，实验集（treatment = 1），控制集（treatment = 0）,实验集和控制集的比例大致为1:4。
第三章分析思路
Uplift增益模型的建模目的是得到每个样本在干预条件下比非干预条件下的增益值，用公式表示就是：
常用的建模方法包含差分响应法和标签转换法，本文也打算采用这两种建模方法，对比其实验效果。
差分响应法
最简单粗暴的就是基于two model的差分响应法，把实验组和控制组数据进行单独建模，然后用训练所得两个模型分别对全量用户的购买行为进行预测，此时一个样本用户即可得出有干预和无干预情况下两种购买行为预测值。这两个预测值的差就是我们想要的uplift score。这种建模方法较简单且易于理解，可以复用常见的机器学习模型(LR、Tree Model、NN)
基于two model的差分响应法优点是易于理解，建模容易，但缺点是容易导致误差积累，而且是间接建模，并没有直接将uplift作为目标变量进行建模，而是间接对用户购买行为进行建模。

标签转换法

标签转换法力求通过构建新的变量直接对uplift建模，这里我们介绍一种构建新变量z的方法，通过对z的预测，可以直接活动uplift的值，实现单模型预测，减少误差累计的可能。

z的取值与干预变量（treatment）和响应变量y有关，

当用户在实验组(treatment = 1)且用户最终购买(y = 1)时，z=1
当用户在对照组(treatment = 0)且用户最终未购买(y = 0)时，z=1
当用户在实验组(treatment = 1)且用户最终未购买(y = 0)时，z=0
当用户在对照组treatment = 0)且用户最终购买(y = 1)时，z=0

这里我们可以发现，当z=1时，该用户可以从某种程度上被定义为上文介绍的persudables，也即营销敏感人群，是我们最终想获取的人群，因此样本的z值等于1的可能性，也即是成为我们目标人群的可能性越大，因此实现了对uplift的直接建模。

第四章数据预处理

无论是采用基于two model的差分响应法，还是用标签转化法，均需要对缺失值进行填充，这里介绍一种基于随机森林的缺失值填补法，其核心思路是将缺失值所在特征作为目标变量，然后将有缺失值的样本作为测试集，没有缺失值的样本作为训练，采用随机森林模型进行回归训练，预测出缺失值。采用随机森林预测缺失值的代码如下：

import pandas as pd
from sklearn.ensemble import RandomForestRegressor
def ramdom_filter(x_data,label):
    data = pd.concat([x_data, label], axis=1)
    missing_count = data.isnull().sum()  # 统计缺失值分布情况
    # 把整个数据集分成不含缺失值的训练集和包含缺失值的待预测集
    train_data = data[~data.isnull().any(axis=1)]  # 生成不含缺失值的数据作为训练集
    predict_data = data[data.isnull().any(axis=1)]
    i = 0
    for each in missing_count:
        if each != 0:
            # 获取待预测的缺失列，预测模型中的缺失值用整个数据集的平均值进行填充
            unfilled_label = predict_data.iloc[:, i]
            unfilled_x_data = predict_data.iloc[:, list(range(i)) + list(range(i + 1, len(missing_count)))]
            filled_x_data = unfilled_x_data.fillna(data.mean())
            input_x = filled_x_data[unfilled_label.isnull()]
            # 将第i列作为label，其余数据作为x,训练数据
            i_label = train_data.iloc[:, i]
            x_data = train_data.iloc[:, list(range(i)) + list(range(i + 1, len(missing_count)))]
            model = RandomForestRegressor()
            model.fit(x_data, i_label)
            predited_label = model.predict(input_x)  # 获取预测完成的缺失值

            null_index = data[data.iloc[:, i].isnull()].index
            predict_x = pd.Series(predited_label, index=null_index)
            data.iloc[:, i].fillna(predict_x, inplace=True)
        i += 1
        print(i)
    return data

这里的x_data就是含有缺失值的特征项，label就是目标变量，差分响应法是将y作为目标变量进行预测，标签转化法将新构建的z变量作为目标变量进行预测。

第五章特征提取

该项目中，特征变量有161个，过于庞大，因此我们有必要筛选出其中一些对目标变量预测比较重要的一些变量，这里介绍RandomForestClassifier种的feature_importances_函数，随机森林是通过是从所有的特征中随机选择特征进行决策树的构建，通过不断地学习，可以比较不同特征值对目标变量的重要性程度，RandomForestClassifier种的feature_importances_函数实现的就是该功能，具体代码如下：

import pandas as pd
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.preprocessing import StandardScaler
train_data = pd.read_csv(r'forUser\wxbank\filled_data.csv')
test_data = pd.read_csv(r'forUser\wxbank\filled_test_data.csv')
#将数据分为训练集和测试集放到随机森林模型中进行预测
x_train_data,y_train_data,x_test_data,y_test_data = train_data.iloc[:,1:-1],train_data.iloc[:,-1],test_data.iloc[:,1:-1],test_data.iloc[:,-1]
#利用sklearn自带的标准化工具对数据进行标准化
x_train_data = scaler.fit_transform(x_train_data)
x_test_data = scaler.fit_transform(x_test_data)
#构建并训练模型
train_model =  RandomForestClassifier()
train_model.fit(x_train_data,y_train_data)
#返回对目标变量比较重要的20个特征值
fearture_importance = np.argsort(train_model.feature_importances_)
top_20_fearture = fearture_importance[:20]

这里返回的将是对目标变量最重要的20个特征值所在的索引

第六章构建模型

在模型选择上，我们这里选择决策树模型，无论采用差分响应法还是标签转换法均采用决策树模型。

差分响应法构建模型代码：

from sklearn.metrics import classification_report
from sklearn.tree import DecisionTreeClassifier
#需要将数据集分为实验组和控制组，构建两个训练模型
x_treat_train,y_treat_train =train_data[train_data['treatment'] == 1].iloc[:,1:-2],train_data[train_data['treatment'] == 1].iloc[:,-1]
x_control_train, y_control_train = train_data[train_data['treatment'] == 0].iloc[:, 1:-2], train_data[train_data['treatment'] == 0].iloc[:, -1]

treat_model = DecisionTreeClassifier(max_depth = 10,min_samples_split = 100 ,random_state = 42,class_weight = {0: 5, 1: 1},)#class_weight = {0: 100, 1: 1}
treat_model.fit(x_treat_train,y_treat_train)#训练实验组模型
control_model = DecisionTreeClassifier(max_depth = 10,min_samples_split = 100,random_state = 42,class_weight = {0: 5, 1: 1},)#class_weight = {0: 100, 1: 1}max_depth = 10,min_samples_split = 100,random_state = 42,class_weight = {0: 5, 1: 1},
control_model.fit(x_control_train,y_control_train)#训练控制组模型

x_test_data,y_test_data = test_data.iloc[:,1:-2],test_data.iloc[:,-1]
x_test_data = scaler.fit_transform(x_test_data)

#将全用户数据分别放到两个模型中进行训练，其概率的差值就是我们想要的模型增益值
treat_score = treat_model.predict_proba(x_test_data)
control_score = control_model.predict_proba(x_test_data)

uplift = treat_score[:,1] - control_score[:,1]
y_test_predictions = control_model.predict(x_test_data)
print(classification_report(y_test_data, y_test_predictions))

该模型的准确率和召回率如下图所示：

我们可以看到最终模型准确将近90%的效果，模型总体效果不错，说明用用户特征来对用户是否做出购买行为的预测是可行的，但是对于正例样本，其精度和召回率并不算很高，可能是实验正负例样本数量差异较大的原因，也可能是决策树模型本身预测能力有限，后期可以改用更复杂的预测模型进行预测，同时采用过采样或欠采样方法解决样本不均衡问题，这些是后期需要改进的地方。

标签转换法模型代码：

from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report
#需要对决策树模型做一定的修剪，已达到我们想要的精确率和召回率
train_model =  DecisionTreeClassifier(max_depth = 150,random_state = 42,class_weight = {0: 10, 1: 0.01})#class_weight = {0: 5, 1: 1}
train_model.fit(x_train_data,y_train_data)
y_test_predictions = train_model.predict(x_test_data)

uplift = train_model.predict_proba(x_test_data)[:,1]#predict_proba函数返回的是每个样本取不同结果的概率

print(classification_report(y_test_data,y_test_predictions))

模型准确率和召回率如下图所示

该模型总体而言效果并不是很好，在精度和召回率方面的准确性相比差分响应模型大打折扣，采用的特征数据是同样的特征数据，只不过最终的预测变量不一样，说明我们通过构建z变量来对uplift直接建模容易导致模型预测性能降低，也可以改进构建z变量的方法来提高模型预测性能。

第七章模型评估

uplift建模问题最终得到的每个样本的增益值，增益值越高，说明对营销行为越敏感，就越是我们的目标用户，那么，怎么对这一建模问题进行评价呢，是通过看预测模型的预测性能吗，还是看最终计算出的增益值，答案很明显是后者，我们需要对最终计算出的uplift值设计算法，来评价整个因果效应模型的模型效果，而不是单单看中间过程中构建的预测模型的预测性能。

那到底怎么通过计算出的uplift值来评价模型性能呢，我们大致可以拟出这样一个思路，我们可以把测试集中的用户根据uplift值从高到低排列，越靠前就是我们越想要的用户，假定我们经费有限只能对其中100个人进行优惠劵的投放，我们肯定就是根据uplift从高到低选择前100人，那怎么才能评价这100个人最终的转化率效果呢，由于我们有这100个人的历史数据，也即上一轮购买活动中用户是否被干预（发放优惠券）和最终是否购买的信息，因此根据历史信息可以这100个人分为实验组（发放优惠券）和控制组（不发放优惠券），如果实验组中最终购买的人数占比大大高于控制组中的最终购买人数占比，最理想的状态就是所有发放了优惠劵都购买了，而没有发放优惠卷的都没有购买，这样的状态就说明这100个人选择得比较合理。按照这个逻辑，我们把这里的前100个人定义成变量前i个人，作为横坐标，纵轴为前i个人中实验组和控制组的购买转化率的差值，这就得到了因果推断模型中最常用的评价指标，qini系数，qini系数的计算公式如下：

表示uplift前i个用户中实验组中的购买人数

表示uplift前i个用户中控制组中的购买人数

表示uplift前i个用户中实验组中的总人数

表示uplift前i个用户中控制组中的总人数

得到qini系数，我们便可以画出qini系数曲线，我们在qini系数最高点，选择此时对应的前i个用户进行营销活动，便可以达到最佳营销效果，实现最大转化率。同时，我们还可以计算所有用户的累计qini系数值，达到对uplift模型的最终评价。实现代码如下：

import pandas as pd
import random
import matplotlib.pyplot as plt
import numpy as np
def Auuc_function(treatment,label,uplift):#定义输入uplift值到输出为auuc曲线的函数，treatment,label,uplift三个变量维度应该一致
    auuc_data = pd.DataFrame(data={'uplift': uplift, 'treatment': treatment, 'label': label})
    auuc_data = auuc_data.sort_values(by='uplift', ascending=False)
    shuffled_auuc_data = auuc_data.sample(frac=1).reset_index(drop=True)
    nums, qinis = calculate_qini(auuc_data)
    nums, random_qins = calculate_qini(shuffled_auuc_data)
    print('qini累计增量效果：', round(sum(qinis) / 10000, 2))
    print('随机选取treatment,累计增量效果：', round(sum(random_qins) / 10000, 2))
    plt.plot(nums, qinis, color='red', linestyle='-', label='qini')
    plt.plot(nums, random_qins, color='blue', linestyle='-', label='random')
    plt.legend()
    plt.show()
def calculate_qini(data):
    qinis = []
    nums = list(range(1, data.shape[0]))
    for num in nums:  # 计算qini系数
        Yt = data[:num][data['treatment'] == 1]['label'].sum()  # 前num个样本实验组中正例的数量
        Yc = data[:num][data['treatment'] == 0]['label'].sum()  # 前num个样本控制组中正例的数量
        Nt = data[:num][data['treatment'] == 1]['treatment'].sum()  # 前num个样本实验组数量
        Nc = num - Nt  # 前num个样本控制组数量
        if Nc == 0:
            qini = Yt
        else:
            qini = Yt - (Yc * Nt) / Nc
        qinis.append(qini)
    return nums,qinis

差分响应模型效果

图中构建了两条qini曲线，红线是按照差分响应法中的two model计算出来的预测模型，蓝线是随机选择用户进行优惠券的投放，通过红线我们可以看到对大致在uplift排名前3500用户进行优惠券投放可以达到最佳的用户购买转化效果，而进行随机选择用户投放的蓝线，我们可以看到曲线大部分都位于0以下，说明转化效果极差。这一万个测试样本中的累计qini系数为7.99(除了10000过后)，也可以认为一万个测试样本的平均qini系数为7.99。

接下来我们来看标签转化法的模型效果

我们可以看到采用标签响应法，最终qini累计增量达到了12.81,比差分响应法的模型效果要好，说明标签转换法中的预测模型性能不如差分响应法中的预测模型性能，但在最终整个因果效应模型上，采用标签转换法是优于差分响应法的，这也进一步说明了直接对uplift建模的优势。

第八章总结与展望

该项目主要解决了因果效应推断中的uplift增益模型问题，主要比较了差分响应法和标签转化法这两种模型的模型以及优劣，可以发现标签转化法直接对uplift建模是有有优势的，但是在模型中的预测模型性能不算很好，需要进一步优化改进，这也是标签转化法中比较难得地方。整个项目还有以下改进的地方：

1、采用差分响应法是存在样本不均衡问题，可以采用过采样或欠采用进一步解决。

2、无论是差分响应还是标签转换法的预测模型都是决策树模型，可以采用如集成算法、神经网络算法进一步提升模型预测性能。

3、标签转换法的预测模型性能一般，有待进一步提高。

如有不足和需要改进的地方，欢迎各位批评指正！

源码和数据集下载：

《探究银行营销行为对用户购买行为影响-基于uplift模型的因果效应研究》数据集和源码资源-CSDN文库

Powerbattle

关注

24
点赞
踩
21

收藏

觉得还不错? 一键收藏
0
评论
探究银行营销行为对用户购买行为影响——基于uplift模型的因果效应研究

该项目主要解决了因果效应推断中的uplift增益模型问题，主要比较了差分响应法和标签转化法这两种模型的模型以及优劣，可以发现标签转化法直接对uplift建模是有有优势的，但是在模型中的预测模型性能不算很好，需要进一步优化改进，这也是标签转化法中比较难得地方。整个项目还有以下改进的地方：1、采用差分响应法是存在样本不均衡问题，可以采用过采样或欠采用进一步解决。2、无论是差分响应还是标签转换法的预测模型都是决策树模型，可以采用如集成算法、神经网络算法进一步提升模型预测性能。
复制链接

扫一扫