SKlearn之决策树

决策树是一种非参数的监督学习方法。

模块：Sklearn.tree

sklearn建模的步骤：

1、选择并建立模型   例：clf = tree.DecisionTreeClassifier()

2、提供数据训练模型   例：clf = clf.fit(X_train,y_train)

3、获取需要的信息   例：result = clf.score(X_test,y_test）

 

分类树中的参数：

一、criterion

criterion是用来决定不纯度的计算方法，不纯度越低，拟合效果越好。

参数值：entropy（信息熵）、gini（基尼系数）

二、random_state

随机种子。在高维度时比较明显。

三、splitter

控制随机选项

参数值：best（优先选择重要的特征进行分支）、random（分支时更随机，可以防止过拟合）

下面是一些用于剪枝的参数：

四、max_depth

剪枝，限制最大深度，在高纬度低样本量时有效。可以防止过拟合。

五、min_samples_leaf

当分出的子节点小于min_sample_leafs就直接剪枝，不会往下分。当数值设置的过小时，会过拟合；过大的话，会阻止学习。

六、min_samples_split

一个节点必须包含min_samples_split的训练样本才会被分支

七、max_features

限制分支时考虑的特征个数，超过限制个数就会被舍弃

八、min_impurity_decrease

信息增益是指子节点与父节点的信息熵的差值。这个参数用于设定，当信息增益小于阈值时，就不再分支。

 

以红酒数据为例：

from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

由于数据集是一个字典，可以通过 ”.键“ 的方式将数据打印出来：

数据的标签可以分为0、1、2 。所以他是一个三分类的数据。

接下来做一个最简单的分类：

#将数据集分为训练集和测试集
x_train,x_test,y_train,y_test = train_test_split(wine.data,wine.target,test_size=0.3)

clf = tree.DecisionTreeClassifier(criterion="entropy"，random_state=0,splitter='best')
clf = clf.fit(x_train,y_train)
score = clf.score(x_test,y_test)
print(score)

这样就得出了一个90%正确率的模型

 

然后可以查看哪一个元素在决策树中比较重要：

print([*zip(feature_name,clf.feature_importances_)])

就可以得到：

 

当我们尝试了几种剪枝方法，但效果不明显时，可以做超参数的学习曲线。

例如，我们改变最大层数：

test = []
for i in range(10):
    clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=0,splitter='best',max_depth=i+1)
    clf = clf.fit(x_train,y_train)
    score = clf.score(x_test,y_test)
    test.append(score)
plt.plot(range(1,11),test,'r')
plt.legend()
plt.show()

就可以绘制出这样的线段：

所以可以了解到当max_depth=2的时候是最好的。

 

接下来再介绍两个重要的结果接口：

clf.apply(x_test)   他会返回测试样本所在的叶子节点

clf.predict(x_test)   他会返回测试样本的结果

clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=0,splitter='best',max_depth=2)
clf = clf.fit(x_train,y_train)
score = clf.score(x_test,y_test)
print(x_test[0])
print(clf.predict(x_test[0].reshape(1,-1)))

由于sklearn不接受一维的特征，所以用reshape(1,-1)来增维，也可以直接在外面加 [  ]