随机森林:提供银行精准营销解决方案

原文地址:https://blog.csdn.net/weixin_34233679/article/details/88480912

本例是根据科赛网练习赛进行练手,学习巩固一下随机森林建模以及应用。

  • 赛题描述

本练习赛的数据,选自UCI机器学习库中的「银行营销数据集(Bank Marketing Data Set)」

这些数据与葡萄牙银行机构的营销活动相关。这些营销活动以电话为基础,一般,银行的客服人员需要联系客户至少一次,以此确认客户是否将认购该银行的产品(定期存款)。

因此,与该数据集对应的任务是「分类任务」,「分类目标」是预测客户是(' 1 ')或者否(' 0 ')购买该银行的产品。

  • 导入相关库

   
   
  1. from sklearn.ensemble import RandomForestClassifier
  2. from sklearn.model_selection import GridSearchCV
  3. from sklearn.model_selection import cross_val_score
  4. import matplotlib.pyplot as plt
  5. import pandas as pd
  6. import numpy as np
  • 查看数据集

   
   
  1. data = pd.read_csv( 'train_set.csv')
  2. data.head()
14645088-867458183d2ebee2.png

字段分别为表示为客户ID、年龄、职业、婚姻状况、受教育水平、是否有违约记录、每年账户的平均余额、是否有住房贷款、是否有个人贷款、与客户联系的沟通方式、最后一次联系的时间(几号)、最后一次联系的时间(月份)、最后一次联系的交流时长、在本次活动中,与该客户交流过的次数、距离上次活动最后一次联系该客户,过去了多久(999表示没有联系过)、在本次活动之前,与该客户交流过的次数、上一次活动的结果、预测客户是否会订购定期存款业务。
数据集没有缺失值,不需要填充。

  • 查看数据概述
data.describe()

   
   
14645088-08feb3f52b30964f.png

从表格可以看出,客户最大年龄为95,最小年龄为18,平均年龄为41。"在距离上次活动最后一次联系该客户,过去了多久"这个字段中最小为-1,最大为854,并没有999。可以推断,应该-1表示为没联系过。

由于最后一次联系的时间(几号)、最后一次联系的时间(月份)、距离上次活动最后一次联系该客户这个三个特征有重合,并且前两个字段无法说明距今时间长度,故删除前两个字段。然后将'job','marital','education','default','housing','loan','contact','poutcome'这些类别变量进行哑变量处理。


 
 
  1. data.drop([ 'ID', 'day', 'month'], axis= 1, inplace=True)
  2. dummy = pd.get_dummies( data[[ 'job', 'marital', 'education', 'default', 'housing', 'loan', 'contact', 'poutcome']])
  3. data = pd.concat([dummy, data], axis= 1)
  4. data.drop([ 'job', 'marital', 'education', 'default', 'housing', 'loan', 'contact', 'poutcome'], inplace=True, axis= 1)
  • 拆分数据集

 
 
  1. from sklearn.model_selection import train_test_split
  2. X = data[ data.columns[: -1]]
  3. y = data.y
  4. Xtrain, Xtest, ytrian, ytest = train_test_split(X, y, test_size= 0.3, random_state= 90)
  • 确定随机森林数目

 
 
  1. scorel = []
  2. for i in range( 0, 200, 10):
  3. rfc = RandomForestClassifier(n_estimators=i+ 1,
  4. n_jobs= -1,
  5. random_state= 90)
  6. score = cross_val_score(rfc,Xtrain,ytrian,cv= 10).mean()
  7. scorel. append(score)
  8. print(max(scorel),(scorel.index(max(scorel))* 10)+ 1)
  9. plt.figure(figsize=[ 20, 5])
  10. plt.plot( range( 1, 201, 10),scorel)
  11. plt.show()

0.8969014833647764 181

14645088-60a6c2c5a445633a.png

通过10重交叉验证,绘制学习曲线,确定模型森林数目为181,最高得分为0.8969
但是我们并不知道最高得分确实在181还是在其附近,所以需在181范围再进行一次验证


 
 
  1. scorel = []
  2. for i in range( 175, 186):
  3. rfc = RandomForestClassifier(n_estimators=i,
  4. n_jobs= -1,
  5. random_state= 90)
  6. score = cross_val_score(rfc,Xtrain,ytrian,cv= 10).mean()
  7. scorel. append(score)
  8. print(max(scorel),([* range( 175, 186)][scorel.index(max(scorel))]))
  9. plt.figure(figsize=[ 20, 5])
  10. plt.plot( range( 175, 186),scorel)
  11. plt.show()

0.8969014833647764 181

14645088-c9600f5126581471.png

很巧的是,181就是我们要找的最合适的森林数目。我们确定下来:n_estimators=181

  • 网格搜索法确定其他参数

 
 
  1. param_grid = { 'max_depth' :np.arange( 1, 20, 1)}
  2. rfc = RandomForestClassifier(n_estimators= 181
  3. ,random_state= 90
  4. )
  5. GS = GridSearchCV(rfc,param_grid,cv= 10)
  6. GS.fit(Xtrain,ytrian)
  7. GS.best_params _
  8. GS.best_score _

{'max_depth': 14} 0.8996106314542068
经过漫长的计算,终于得到了结果。可以看到在树的最大层数为14层时,得到了最高分:0.8996,较之前上升了0.0027。我们确定下来max_depth=14。


 
 
  1. param_grid = { 'min_samples_leaf' :np.arange( 1, 20, 1)}
  2. rfc = RandomForestClassifier(n_estimators= 181
  3. ,random_state= 90
  4. )
  5. GS = GridSearchCV(rfc,param_grid,cv= 10)
  6. GS.fit(Xtrain,ytrian)
  7. GS.best_params _
  8. GS.best_score _

{'min_samples_leaf': 7} 0.899046329213927
又经过了漫长的等待,我们计算出了最佳min_samples_leaf参数为7, 最佳得分为0.8990。但是得分却下降了0.0006。我们知道决策树和随机森林是天生过拟合的模型。调节参数(预剪枝)几乎都是为了防止模型过拟合,调节min_samples_leaf后,模型就会进入欠拟合状态。所以max_depth=14时,可能是我们的模型已经到达的极限了。想要提升模型准确度,可能需要再从特征工程上着手了,调节其他参数将不再有效。

  • 建立模型

 
 
  1. rfc = RandomForestClassifier(n_estimators=181, max_depth=14, random_state=90)
  2. rfc.fit(Xtrain, ytrian)
  3. rfc.score(Xtest, ytest)

0.9063981042654028
可以看出模型在测试集上的得分为0.906,结果还算不错。

  • 输出比赛结果

 
 
  1. data2 = pd.read_csv( 'test_set.csv')
  2. ID = data2.ID
  3. data2.drop([ 'ID', 'day', 'month'], axis= 1, inplace= True)
  4. dummy = pd.get_dummies(data2[[ 'job', 'marital', 'education', 'default', 'housing', 'loan', 'contact', 'poutcome']])
  5. data2= pd.concat([dummy, data2], axis= 1)
  6. data2.drop([ 'job', 'marital', 'education', 'default', 'housing', 'loan', 'contact', 'poutcome'], axis= 1, inplace= True)
  7. pred = rfc.predict_proba(data2)
  8. data3 = pd.DataFrame(pred, index=ID, columns=[ 'pred0', 'pred'])
  9. data3.drop( 'pred0', axis= 1, inplace= True)
  10. data3.to_csv( 'result.csv')

比赛结果要求字段为pred,表示预测客户订购定期存款业务的概率,部分结果如下图


14645088-2c1e45a0f29a25d0.png
      </div>
                                  </div>
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值