24/8/9算法笔记 随机森林

"极限森林"（Extremely Randomized Trees，简称ERT）是一种集成学习方法，它属于决策树的变体，通常被归类为随机森林（Random Forest）的一种。极限森林的核心思想是在构建决策树时引入极端的随机性，以此来提高模型的多样性，减少过拟合的风险，并可能提高模型的泛化能力。

导入包

from sklearn.ensemble import RandomForestClassifier

from sklearn.tree import DecisionTreeClassifier
from sklearn import tree 
from sklearn import datasets
import graphviz

from sklearn.model_selection import train_test_split
import numpy as np

X,y =datasets.load_wine(return_X_y=True)
X_train,X_test,y_train,y_test = train_test_split(X,y)

一棵树

score =0
for i in range(100):
    X_train,X_test,y_train,y_test = train_test_split(X,y)
    model = DecisionTreeClassifier()
    model.fit(X_train,y_train)
    score += model.score(X_test,y_test)/100

print('一棵决策树平均得分',score)

随机森林(多棵树)

score =0
for i in range(100):
    X_train,X_test,y_train,y_test = train_test_split(X,y)
    #分类器clf
    clf = RandomForestClassifier(n_estimators=100)#表示100棵树组成随机森林
    clf.fit(X_train,y_train)
    score += model.score(X_test,y_test)/100

print('随机森林平均得分',score)

两种算法比较(准确率)

model.predict_proba(X_test)#一棵树，叶节点，落到哪个叶节点算作哪一类，概率0.1

clf.predict_proba(X_test)#森林

可视化

X_train.shape

#随机森林100棵
#先画第一棵树
dot_data = tree.export_graphviz(clf[0],filled =True,rounded = True)
graphviz.Source(dot_data)

#第50棵树
dot_data = tree.export_graphviz(clf[49],filled =True,rounded = True)
graphviz.Source(dot_data)

#最后一棵树
dot_data = tree.export_graphviz(clf[99],filled =True,rounded = True)
graphviz.Source(dot_data)

#随机森林步骤
#1.随机选择样本(放回抽样)
#2.随机选择特征
#3.构建决策树
#4.随机森林投票

#优点
#1.表现良好
#2.可以处理高纬度数据（维度随机选择）
#3.辅助进行特征选择
#4.得益于Bagging可以进行并行训练

#缺点
#对于噪声过大的数据容易过拟合

极限森林

#从分裂随机中筛选最优分裂条件

#依然使用上面的数据

from sklearn.ensemble import ExtraTreesClassifier

score = 0
for i in range(100):
    X_train,X_test,y_train,y_test = train_test_split(X,y)#葡萄酒的价格
    clf2 = ExtraTreesClassifier(max_depth = 3)#深度限制
    clf2.fit(X_train,y_train)
    score +=clf2.score(X_test,y_test)/100
print('极限森林平均得分是',score)

#第一棵树
dot_data = tree.export_graphviz(clf2[0],filled=True,rounded=True)
graphviz.Source(dot_data)

#第100棵树
dot_data = tree.export_graphviz(clf2[-1],filled=True,rounded=True)
graphviz.Source(dot_data)

计算gini系数

count = []
for i in range(3):
    count.append((y_train ==i).sum())
count = np.array(count)
p = count/count.sum()#计算概率
gini = (p*(1-p)).sum()
print('未分裂，gini系数是：',round(gini,3))

Gini系数，全称为Gini不纯度（Gini impurity），是决策树算法中用于选择最佳分裂属性的一个指标。它衡量的是数据集中的不确定性或不纯度。Gini不纯度越低，表示数据集的纯度越高，即数据集中的样本属于同一个类别的可能性越大。

Gini不纯度的计算公式如下：

其中，nn 是数据集中类别的数量，pipi​ 是选择的属性第 ii 个类别的样本比例。