sklearn 随机森林（Random Forest）多分类问题

模型

随机森林是集成学习算法的一种。sklearn更多的集成学习算法
RandomForestClassifier 参数详解
重要的参数有基分类器的个数（n_estimators）、特征选择算法(critirion)、单个决策树的最大深度(max_depth)等。

预处理

import pandas as pd
path = "../Data/classify.csv"
rawdata = pd.read_csv(path) 
X = rawdata.iloc[:,:13]
Y = rawdata.iloc[:,14]  # {”A":0,"B":1,"C":2}
Y = pd.Categorical(Y).codes  # ABC变成123

建模

from sklearn.ensemble import RandomForestClassifier
model = RandomForestClassifier(n_estimators = 10, criterion="gini")

训练+评价

def rf_model(k):
    return RandomForestClassifier(n_estimators = k, criterion="gini")

def svc_model(model):
    model.fit(x_train, y_train)
    acu_train = model.score(x_train, y_train)
    acu_test = model.score(x_test, y_test)
    y_pred = model.predict(x_test)
    recall = recall_score(y_test, y_pred, average="macro")
    return acu_train, acu_test, recall
    
def run_rf(kmax):
    result = {
              "k":[],
              "acu_train": [],
              "acu_test": [],
              "recall": []
              }
    for i in range(1,kmax+1):
        acu_train, acu_test, recall = svc_model(rf_model(i))
        result["k"].append(i)
        result["acu_train"].append(acu_train)
        result["acu_test"].append(acu_test)
        result["recall"].append(recall)
    return pd.DataFrame(result)

df = run_rf(20)
df["acu_test"].plot()
plt.xlim(1,100)
plt.ylim(0.5,0.9)
plt.show()

结果

分类准确率大概在0.85左右，后面即使增加树的个数，也没法再提高准确率了。

预剪枝对随机森林的优化

def rf_model(k):
    return RandomForestClassifier(n_estimators = k, criterion="gini", max_depth=5)

在模型中增加了max_depth=5

结果

可见预剪枝对决策树是有效的（基分类器数量=1），但是随机森林模型已经通过随机选取样本、随机选择特征等方式有效避免了过拟合、陷入局部最优等问题，因此对单个树进行预剪枝，对模型的提升效果不大。