监督学习——随机森林

一、随机森林原理

1.如何构建随机森林？

有两个方面：
1.数据的随机性化
2.待选特征的随机化
使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。

• 数据的随机性化：使得随机森林中的决策树更普遍化一点，适合更多的场景
  （有放回的准确性在：70%以上，无放回的准确率在：60%以上）
  1.采用有放回的抽样方式构建子数据集，保证不同子集之间的数量级一样
  2.利用子数据集来构建子决策树，将数据放到每个子决策树中，每个决策树输出一个结果
  3.统计子决策树的投票结果，得到最终的分类就是随机森林的输出结果
  4.如下图，假设随机森林中有3棵子决策树，2棵子树的分类是A类。1棵子树的分类结果是B类。那么随机森林的分类结果就是A类。
  
• 待选特征的随机化
  1.子树从所有待选特征中随机选取一定的特性
  2.在选取的特征中选取最优的特征
  左图是一棵决策树的特征选取过程，通过在待选特征中选取最优的分裂特征，完成分裂。
  右图是一个随机森林中的子类的特征选取过程。
  

2.开发流程

收集数据：任何方法
准备数据：转换样本集
分析数据：任何方法
训练算法：通过数据随机化和特征随机化，进行多实例的分类评估
测试算法：计算错误率
使用算法：输入样本数据，然后 进行随机森算法判断输入数据属于哪一类别，最后对计算出的分类执行后续处理

3.算法特点

优点：几乎不需要输入准备，可实现隐式特征选择，训练速度非常快，其他模型很难超越。
缺点：模型大小是个很难去解释的黑盒子。

4. 调参优化：

• n_estimators
  森林中数目的数量。n_estimators越大，模型效果越好，但需要的训练时间越长，达到一定成都后，随机森林的精准性往往不再上升或开始波动。
  其余参数与决策树相同。

在调参时，可以参考这个顺序：

二、sklearn库实现

症状及方法预测案例：

案例背景：根据用户状态数据和其采用的改善方法，预测其改善效果。即已知P和X，预测Y。

1. 用户症状共13个维度，根据各维度属性的不同量化为不同水平的分类变量
2. 改善方法共10种，1表示采用，0表示未采用
3. 改善效果为分类变量，0变好，1不变，2变差。

实现代码：

**********************************************导入库********************************************************
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV #网格搜索
from sklearn.model_selection import cross_val_score #交叉验证
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

****************************************导入数据集，探索数据**************************************************
path=r'C:\Users\HP\Desktop\data.csv'
data=pd.read_csv(path,encoding='gbk')

**********************************************归一化*********************************************************
max_min_scaler = lambda x : (x-np.min(x))/(np.max(x)-np.min(x))#归一化
data[['症状1','症状2','症状3','症状4','症状5','症状6','症状7','症状8','症状9','症状10','症状11','症状12','症状13']]=\
data[['症状1','症状2','症状3','症状4','症状5','症状6','症状7','症状8','症状9','症状10','症状11','症状12','症状13']].apply(max_min_scaler)
train=data.loc[0:89999,:]#前90000行作为训练集
test=data.loc[90000:100000,:]#测试集

******************************************设置训练集和测试集***************************************************
train_y=train['效果']#训练标签
train_x=train.drop('效果',axis=1)#训练参数
test_y=test['效果']
test_x=test.drop('效果',axis=1)

********************************************随机森林建模预测***************************************************
clf=RandomForestClassifier(n_estimators=100)#定义随机森林
clf.fit(np.array(train_x),np.array(train_y))#训练
result=clf.predict(np.array(test_x))#预测
print('预测病情结果如下')
print(result)#输出结果
accurate=(result==test_y)#输出结果与应有的效果比较，True代表一样，False代表不一样
print(accurate.value_counts())
#结果：
预测病情结果如下
[1 1 0 ... 1 0 1]
True     5878
False    4122
Name: 效果, dtype: int64

*******************************************学习曲线调参n_estimators*********************************************
scorel = []#十次交叉验证的均值
for i in range(0,200,10):
    clf = RandomForestClassifier(n_estimators=i+1,
                                n_jobs=-1,
                                random_state=90)
    score = cross_val_score(clf,test_x,test_y,cv=10).mean()
    scorel.append(score)
print(max(scorel),(scorel.index(max(scorel))*10)+1)#打印十次交叉的均值和索引
plt.figure(figsize=[20,5])
plt.plot(range(1,201,10),scorel)
plt.show()
#结果：
0.5891211820243883 131
学习曲线如图1, n_estimators取131

***********************************************进一步细化学习曲线***********************************************
scorel = []#十次交叉验证的均值
for i in range(35,45):
    clf = RandomForestClassifier(n_estimators=i,
                                n_jobs=-1,
                                random_state=90)
    score = cross_val_score(clf,test_x,test_y,cv=10).mean()
    scorel.append(score)
print(max(scorel),([*range(125,135)][scorel.index(max(scorel))]))#打印十次交叉的均值和索引
plt.figure(figsize=[20,5])
plt.plot(range(125,135),scorel)
plt.show()
#结果：
0.5861234791260843 134
学习曲线如图2，n_estimators取134

***********************************************网格搜索，调整max_depth*****************************************
param_grid = {'max_depth':np.arange(1,20,1)}
clf = RandomForestClassifier(n_estimators=134
                            ,random_state=90
                            )
GS = GridSearchCV(clf,param_grid,cv=10)
GS.fit(test_x,test_y)
GS.best_params_
GS.best_score_
#结果：
{'max_depth': 8}
0.6154

*********************************************网格搜索，调整min_samples_leaf************************************
param_grid = {'min_samples_leaf':np.arange(1,20,1)}
clf = RandomForestClassifier(n_estimators=134
                            ,max_depth=8
                            ,random_state=90
                            )
GS = GridSearchCV(clf,param_grid,cv=10)
GS.fit(test_x,test_y)
GS.best_params_
GS.best_score_
#结果：
{'min_samples_leaf': 5}
0.6161

*********************************************网格搜索，调整min_samples_split************************************
param_grid = {'min_samples_split':np.arange(2,20,1)}
clf = RandomForestClassifier(n_estimators=134
                            ,max_depth=8
                            ,min_samples_leaf=5
                            ,random_state=90
                            )
GS = GridSearchCV(clf,param_grid,cv=10)
GS.fit(test_x,test_y)
GS.best_params_
GS.best_score_
#结果：
{'min_samples_split': 2}
0.6161

***************************************************网格搜索，调整max_features*************************************
param_grid = {'max_features':np.arange(1,20,1)}
clf = RandomForestClassifier(n_estimators=134
                            ,max_depth=8
                            ,min_samples_leaf=5
                            ,random_state=90
                           
GS = GridSearchCV(clf,param_grid,cv=10)
GS.fit(test_x,test_y)
GS.best_params_
GS.best_score_
#结果：
{'max_features': 4}
0.6161

*****************************************************网格搜索，调整criterion***************************************
param_grid = {'criterion':['gini','entropy']}
clf = RandomForestClassifier(n_estimators=134
                            ,max_depth=8
                            ,min_samples_leaf=5
                            ,random_state=90
                            )
GS = GridSearchCV(clf,param_grid,cv=10)
GS.fit(test_x,test_y)
GS.best_score_
#结果：
0.6152（下降了）

图1：
图2：