「二分类算法」提供银行精准营销解决方案详解（随机森林）

 

 

这些数据与葡萄牙银行机构的营销活动相关。这些营销活动以电话为基础，一般，银行的客服人员需要联系客户至少一次，以此确认客户是否将认购该银行的产品（定期存款）。
通过与葡萄牙银行机构的直销活动（电话）有关的一些数据，预测客户是否会订阅定期存款（变量Y）。这对于实际生产有着巨大作用，可以通过这个预测结果对未来的工作进行一个初步规划，同时也可以对某些用户是否会订阅定期存款提供一个参照等；
 

数据说明：

客户信息：
Age：年龄
Job：工作，工作类型（分类：“行政管理”、“蓝领”、“企业家”、“女佣”、“管理”、 “退休”、“个体户”、“服务”、“学生”、“技术员”、“失业”、“未知”）
Marital：婚姻，婚姻状况（分类：离婚，已婚，单身，未知）（注：“离婚”指离婚或丧偶）
Education：教育（分类：‘基本.4y’，‘Basy.6y’，‘Basy.9y’’，‘Health.学校’，‘文盲’，‘专业’课程，‘大学学位’，‘未知’）
Default：违约，信用违约吗？（分类：“不”，“是”，“不知道”）
Housing：房，有住房贷款吗？（分类：“不”，“是”，“不知道”）
Loan：贷款，有个人贷款吗？（（分类：“不”，“是”，“不知道”）

预测相关的其他数据：
Contact：接触方式（分类：“移动电话”，“固定电话”）
Month：月，最后一个联系月份（分类：‘MAR’，…，‘NOV’，’DEC’）
Day_of_week：每周的天数，最后一周的联系日（分类）：“Mon”、“Tee”、“We”、“TUU”、“FRI”
Duration：持续时间，最后的接触持续时间，以秒为单位
Campaign：在这次战役和这个客户联系的执行人数量
Pdays：客户上次从上次活动中联系过去之后的天数（数字；999表示以前没有联系过客户）
Previous：本次活动之前和本客户端的联系人数（数字）
Proutcome：前一次营销活动的结果（分类：失败，不存在，成功）

社会和经济背景属性
EMP.var.rate：就业变化率-季度指标（数字）
cons.price.idx：消费者价格指数-月度指标（数字）
cons.conf.idx：消费者信心指数-月度指标（数字）
euribor3m:：欧元同业拆借利率3个月利率-每日指标（数字）
nr.employed：员工人数-季度指标（数字）

输出变量：
Y -客户是否会定期存款？“是”、“否”

 

 

代码及详解：

 

导入各种包

from sklearn.ensemble import RandomForestClassifier

from sklearn.model_selection import GridSearchCV

from sklearn.model_selection import cross_val_score

import matplotlib.pyplot as plt

import pandas as pd

import numpy as np

查看数据

#查看数据集
data = pd.read_csv('L:\k-lab\\train_set.csv')
print(data.head())

#查看数据概述
print(data.describe())

 

describe()函数自动计算的字段有count（非空值数）、unique（唯一值数）、top（频数最高者）、freq（最高频数）

count   195.000000  #数量

mean   2744.595385 #均值

std     424.739407 #标准差

min     865.000000 #最小值

25%    2460.600000 #下四分位

50%    2655.900000 #中位数

75%    3023.200000 #上四分位

max    4065.200000 #最大值

 

range  3200.200000 #极差max-min

var       0.154755 #变异系数 std/mean

 

dis     562.600000 #四分位间距 75%-25%

四分位数（Quartile）是指在统计学中把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值。

第一四分位数 (Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。

第二四分位数 (Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字。

第三四分位数 (Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。

第三四分位数与第一四分位数的差距又称四分位距（InterQuartile Range,IQR）。

 

数据预处理

1. 删除用户ID
2. 缺失值处理，观察数据可以得知，数值型变量没有缺失，非数值型变量可能存在unknown值。

将'job','marital','education','default','housing','loan','contact','poutcome'这些类别变量进行哑变量处理。

由于最后一次联系的时间（几号）、最后一次联系的时间（月份）、距离上次活动最后一次联系该客户这个三个特征有重合，并且前两个字段无法说明距今时间长度，故删除前两个字段。

data.drop(['ID','day','month'], axis=1, inplace=True)
#矩阵表示位置关系
dummy = pd.get_dummies(data[['job','marital','education','default','housing','loan','contact','poutcome']])
#相同字段的表首尾相接,这里是指列拼接
data = pd.concat([dummy, data], axis=1)
#删除重复的部分
data.drop(['job','marital','education','default','housing','loan','contact','poutcome'], inplace=True, axis=1)

# drop不改变原有的df中的数据，而是返回另一个dataframe来存放删除后的数据。
# drop函数默认删除行，列需要加axis = 1
# 凡是会对原数组作出修改并返回一个新数组的，往往都有一个 inplace可选参数。如果手动设定为True（默认为False），那么原数组直接就被替换。也就是说，采用inplace=True之后，原数组名（如2和3情况所示）对应的内存值直接改变；
# 而采用inplace=False之后，原数组名对应的内存值并不改变，需要将新的结果赋给一个新的数组或者覆盖原数组的内存位置（如1情况所示）。

虚拟变量称或哑变量，用以反映质的属性的一个人工变量，通常取值为0或1

无序多分类变量，引入模型时需要转化为哑变量 数据量化&哑变量

对于有n个分类属性的自变量，通常需要选取1个分类作为参照，因此可以产生n-1个哑变量

数据：

dummy：

 

data：

data.drop之后：

 

拆分数据集

from sklearn.model_selection import train_test_split
X = data[data.columns[:-1]]   #从0到倒数第一列
y = data.y                  #只包括data的y这一列
#测试集占训练集30%
Xtrain, Xtest, ytrian, ytest = train_test_split(X, y, test_size=0.3, random_state=90)

X_train,X_test, y_train, y_test =cross_validation.train_test_split(train_data,train_target,test_size=0.3, random_state=0)

train_data：被划分的样本特征集

train_target：被划分的样本标签

test_size：如果是浮点数，在0-1之间，表示样本占比；如果是整数的话就是样本的数量

random_state：是随机数的种子。随机种子（一个整数），其实就是一个划分标记，对于同一个数据集，如果rondom_state相同，则划分结果也相同。这里取90保证每次运行划分的结果都是一样的

X：

y:

 

确定随机森林数目、建模并调参

scorel = []
for i in range(0,200,10):      #从[0,200)只取能被10整除的数
	#第一次的学习曲线，可以先用来帮助我们划定范围，我们取每十个数作为一个阶段，来观察n_estimators的变化如何引起模型整体准确率的变化
    rfc = RandomForestClassifier(n_estimators=i+1,   #森林里（决策）树的数目。   #criterion: ”gini” or “entropy”(default=”gini”)是计算属性的gini(基尼不纯度)还是entropy(信息增益)，来选择最合适的节点。
                                    n_jobs=-1,			#用于拟合和预测的并行运行的工作（作业）数量。因为可以并行从而提高性能。1=不并行；n：n个并行；-1：CPU有多少core，就启动多少job
                                    random_state=90)
    score = cross_val_score(rfc,Xtrain,ytrian,cv=10).mean()    #过传入的模型，训练十次，最后将十次结果求平均值。将每个数据集都算一次
     #交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，可以在一定程度上减小过拟合。
    scorel.append(score)
print(max(scorel),(scorel.index(max(scorel))*10)+1)
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()

 

通过10重交叉验证，绘制学习曲线，确定模型森林数目为161，最高得分为0.8969

但是我们并不知道最高得分确实在161还是在其附近，所以需在161范围再进行一次验证

 

 

调参第二步：细化学习曲线    放大部分内容

scorel = []
for i in range(155,156):
    rfc = RandomForestClassifier(n_estimators=i,
                                n_jobs=-1,
                                random_state=90)
    score = cross_val_score(rfc,Xtrain,ytrian,cv=10).mean()
    scorel.append(score)
print(max(scorel),([*range(155,166)][scorel.index(max(scorel))]))
plt.figure(figsize=[20,5])
plt.plot(range(155,166),scorel)
plt.show()

结果：

164是最合适的森林数目

 

网格搜索法确定其他参数

我们将使用网格搜索对参数一个个进行调整。

开始按照参数对模型整体准确率的影响程度进行调参，首先调整max_

param_grid = {'max_depth':np.arange(1, 20, 1)}
print(" 11 ", param_grid)

rfc = RandomForestClassifier(n_estimators=164
                            ,random_state=90)
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(Xtrain,ytrian)
print(GS.best_params_,": 1 :",GS.best_score_)

{'max_depth': 14} 0.8996106314542068

经过漫长的计算，终于得到了结果。可以看到在树的最大层数为14层时，得到了最高分：0.8996，较之前上升了0.0004。我们确定下来max_depth=14。

调整min_samples_leaf

param_grid = {'min_samples_leaf':np.arange(1, 20, 1)}
print(" 22 ", param_grid)
rfc = RandomForestClassifier(n_estimators=164
                           ,random_state=90
                           )
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(Xtrain,ytrian)
print(GS.best_params_,": 2 :",GS.best_score_)

{'min_samples_leaf': 7} 0.899046329213927

 

建立模型

rfc = RandomForestClassifier(n_estimators=181, max_depth=14, random_state=90)
rfc.fit(Xtrain, ytrian)
rfc.score(Xtest, ytest)

输出比赛结果

data2 = pd.read_csv('L:\k-lab\\test_set.csv')
ID = data2.ID

data2.drop(['ID','day','month'], axis=1, inplace=True)
#矩阵表示位置关系
dummy = pd.get_dummies(data[['job','marital','education','default','housing','loan','contact','poutcome']])
#相同字段的表首尾相接,这里是指列拼接
data2 = pd.concat([dummy, data2], axis=1)
#删除重复的部分
data2.drop(['job','marital','education','default','housing','loan','contact','poutcome'], inplace=True, axis=1)



pred = rfc.predict_proba(data2)
data3 = pd.DataFrame(pred, index=ID, columns=['pred0', 'pred'])
data3.drop('pred0', axis=1, inplace=True)
data3.to_csv('result.csv')