在之前的文章中,以及提到过决策树的原理和实现,下面阐述如何使用python3(jupyter)实现
首先,这里有很好用的sklearn库:参考官方文档:
https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html
下面就介绍几个最常用的函数和一个训练的过程:
首先需要安装sklearn库,然后将数据分割成train和test,并且需要按照features/lables分,下面是使用现成的数据。
from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier
iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y)
fit函数
然后开始使用决策树,这里使用的是分类器哈。fit函数就是用来训练的,参数可以自己查官方文档自定义哈。
#decision stump
clif = DecisionTreeClassifier(criterion='entropy')
clif.fit(X_train, y_train)
predict函数
训练模型后就可以对其进行预测,predict函数参数:test features,output:预测的类型
clif.predict(X_test)
这里的输出结果是:
array([0, 2, 0, 1, 1, 2, 0, 2, 2, 0, 0, 2, 1, 0, 1, 2, 1, 1, 1, 1, 1, 2,
2, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0])
score函数:
表示测试数据的正确率
input:test_features+test_lables; output:float
clif.score(X_test,y_test)
输出结果是:
0.9473684210526315
get_depth()
生成的决策树的深度,参数空,返回值int
clif.get_depth()
输出结果是:
5
get_n_leaves()
返回决策树的叶子数,参数空,返回值int
clif.get_n_leaves()
输出结果是:
7
feature_importances_属性
获得每个属性的重要性评估,不是函数是一个属性,返回值为一个和features同等长度的数组。
clif.feature_importances_
输出结果是:
array([0.05299054, 0. , 0.62006318, 0.32694628])
同样我们可以检测下X_test是什么
array([[5.3, 3.7, 1.5, 0.2],
[6.5, 3. , 5.2, 2. ],
[4.7, 3.2, 1.3, 0.2],
[6. , 2.2, 5. , 1.5],
[6.1, 2.6, 5.6, 1.4],
[6.4, 2.7, 5.3, 1.9],
[5.1, 3.7, 1.5, 0.4],
[6.2, 2.8, 4.8, 1.8],
[6.4, 3.1, 5.5, 1.8],
[4.6, 3.6, 1. , 0.2],
[4.7, 3.2, 1.6, 0.2],
[6.7, 3.3, 5.7, 2.1],
[5.5, 2.4, 3.8, 1.1],
[5. , 3.3, 1.4, 0.2],
[5.5, 2.3, 4. , 1.3],
[7.2, 3.2, 6. , 1.8],
[5.6, 2.5, 3.9, 1.1],
[6.7, 3.1, 4.7, 1.5],
[6.1, 2.8, 4. , 1.3],
[5.8, 2.7, 3.9, 1.2],
[5.7, 2.8, 4.5, 1.3],
[6.4, 2.8, 5.6, 2.1],
[7.7, 2.6, 6.9, 2.3],
[6.4, 2.9, 4.3, 1.3],
[5.7, 3.8, 1.7, 0.3],
[4.6, 3.4, 1.4, 0.3],
[5.4, 3.9, 1.7, 0.4],
[5.1, 3.8, 1.5, 0.3],
[5.7, 2.9, 4.2, 1.3],
[4.3, 3. , 1.1, 0.1],
[4.8, 3. , 1.4, 0.3],
[5.4, 3.7, 1.5, 0.2],
[6.3, 3.3, 4.7, 1.6],
[6.2, 2.9, 4.3, 1.3],
[5.6, 2.7, 4.2, 1.3],
[5.7, 4.4, 1.5, 0.4],
[5.1, 3.3, 1.7, 0.5],
[5. , 3.4, 1.6, 0.4]])