随机森林

目录

导包

导入数据

随机森林训练

相同数据用决策树算法训练

---

导包

import numpy as np

import matplotlib.pyplot as plt
%matplotlib inline

from sklearn.ensemble import RandomForestClassifier,ExtraTreesClassifier

from sklearn import datasets

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.tree import DecisionTreeClassifier

随机森林 ：多颗决策树构建而成，每一颗决策树都是刚才讲到的决策树原理
多颗决策树一起运算------------>集成算法
随机森林，随机什么意思。

随机森林由决策树组成，决策树实际上是将空间用超平面进行划分的一种方法，每次分割的时候，都将当前的空间一分为二随机森林生成的树是完全生长的，便于计算每个特征的重要程度。

随机森林思想是构建优秀的树，优秀的树需要优秀的特征。那么我们就需要随机改变特征值，然后测试改变前后的误差率。误差率的差距是该特征在树中的重要程度。

然后求在每棵树在该特征的误差率之和称为该特征在森林中的重要程度。然后按照重要程度排序，去除森林中重要程度低的部分特征。直到剩余特征数为m为止。然后再算出每个样本在所有森林中的误差率，得到最优秀的森林。

导入数据

wine = datasets.load_wine()
wine

 

X = wine['data']#特征值

y = wine['target']#目标值

X.shape

178个样本，13个属性。

随机森林训练

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)
clf = RandomForestClassifier()#分类器 

clf.fit(X_train,y_train)

y_ = clf.predict(X_test)

from sklearn.metrics import accuracy_score

accuracy_score(y_test,y_)

相同数据用决策树算法训练

dt_clf = DecisionTreeClassifier()

dt_clf.fit(X_train,y_train)

dt_clf.score(X_test,y_test)

由于train_test_split将数据随机打乱，每个人执行的结果可能不一样，因此需要多次计算取平均值。

score = 0 
for i in range(100):
    X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)
    
    dt_clf = DecisionTreeClassifier()

    dt_clf.fit(X_train,y_train)

    score+=dt_clf.score(X_test,y_test)/100
    
print('决策树多次运行准确率：',score)

score = 0 
for i in range(100):
    X_train,X_test,y_train,y_test = train_test_split(X,y,test_size = 0.2)
    
    clf = RandomForestClassifier(n_estimators=100)

    clf.fit(X_train,y_train)

    score+=clf.score(X_test,y_test)/100
    
print('随机森林多次运行准确率：',score)

由此可以看出，随机森林准确率稍微高点