sklearn笔记整理——（三）随机森林（random forest）

随机森林官网说明：
https://scikit-learn.org/stable/modules/ensemble.html#forests-of-randomized-trees

算法原理

随机森林属于集成算法的一种，基于bagging集成算法。所有基评估器都是决策树。sklearn中随机森林包括随机森林分类与随机森林回归。另外官网也提供了超树（ExtraTreesClassifier）等接口，并且从案例来看，拟合效果也很优越。超树比随机森林还要随机，

优势与劣势

一般来说，随机森林的效果要好于单棵决策树。随机森林增加了随机的特性，改善了决策树的过拟合倾向，能够取得不错的效果。

评价标准

随机森林分类：score返回的分数，accuracy；predict_proba：每一个测试样本对应被分到每一类标签的概率。
随机森林回归：回归树的接口score返回负的R平方。回归树衡量分支质量的指标有三种：mse，fridman_mse，mae（绝对平均误差）。

参数与接口

除了与决策树相同的参数外，还包括：
n_estimators：基评估器的数量，默认为100
random_state：与决策树中的用法类似，不过是控制生成森林的模式。
boostrap：是否采用有放回随机抽样
obb_score：袋外分数

案例代码

sklearn自带的乳腺癌数据调参

from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import GridSearchCV,cross_val_score
import matplotlib.pyplot as plt
import pandas as pd
import numpy as np

data = load_breast_cancer()
data

data.data.shape

data.target

#直接建模
rfc = RandomForestClassifier(n_estimators=100,random_state=0)
score_pre = cross_val_score(rfc,data.data,data.target,cv=10).mean()
score_pre

#调参
score1 = []
for i in range(0,200,10):
    rfc = RandomForestClassifier(n_estimators=i+1,n_jobs=-1,random_state=0)
    score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
    score1.append(score)
print(max(score1),(score1.index(max(score1))*10)+1)
plt.figure(figsize=(20,5))
plt.plot(range(1,201,10),score1)
plt.show()

#细化学习曲线
score2 = []
for i in range(100,125):
    rfc = RandomForestClassifier(n_estimators=i,n_jobs=-1,random_state=0)
    score = cross_val_score(rfc,data.data,data.target,cv=10).mean()
    score2.append(score)
plt.figure(figsize=(20,5))
plt.plot(range(100,125),score2)
plt.show()

score2.index(max(score2))+100

max(score2)

#网格搜索调整max_depth（还有其他的参数可以调，方法相同）
param_grid = {'max_depth':np.arange(1,20,1)}
rfc = RandomForestClassifier(n_estimators=110
                            ,random_state=0
                            )
GS = GridSearchCV(rfc,param_grid,cv=10)
GS.fit(data.data,data.target)
GS.best_params_

GS.best_score_