「sklearn_1」决策树

在之前的文章中，以及提到过决策树的原理和实现，下面阐述如何使用python3（jupyter）实现

首先，这里有很好用的sklearn库：参考官方文档：

https://scikit-learn.org/stable/modules/generated/sklearn.tree.DecisionTreeClassifier.html

 

下面就介绍几个最常用的函数和一个训练的过程：

首先需要安装sklearn库，然后将数据分割成train和test，并且需要按照features/lables分，下面是使用现成的数据。

from sklearn.model_selection import train_test_split
from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

iris = load_iris()
X = iris.data
y = iris.target
X_train, X_test, y_train, y_test = train_test_split(X, y)

fit函数

然后开始使用决策树，这里使用的是分类器哈。fit函数就是用来训练的，参数可以自己查官方文档自定义哈。

#decision stump
clif = DecisionTreeClassifier(criterion='entropy') 
clif.fit(X_train, y_train)

predict函数

训练模型后就可以对其进行预测，predict函数参数：test features，output：预测的类型

clif.predict(X_test)

这里的输出结果是：

array([0, 2, 0, 1, 1, 2, 0, 2, 2, 0, 0, 2, 1, 0, 1, 2, 1, 1, 1, 1, 1, 2,
       2, 1, 0, 0, 0, 0, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0])

score函数：

表示测试数据的正确率

input：test_features+test_lables； output：float

clif.score(X_test,y_test)

输出结果是：

0.9473684210526315

get_depth()

生成的决策树的深度，参数空，返回值int

clif.get_depth()

输出结果是：

5

get_n_leaves()

返回决策树的叶子数，参数空，返回值int

clif.get_n_leaves()

输出结果是：

7

feature_importances_属性

获得每个属性的重要性评估，不是函数是一个属性，返回值为一个和features同等长度的数组。

clif.feature_importances_

输出结果是：

array([0.05299054, 0.        , 0.62006318, 0.32694628])

同样我们可以检测下X_test是什么

array([[5.3, 3.7, 1.5, 0.2],
       [6.5, 3. , 5.2, 2. ],
       [4.7, 3.2, 1.3, 0.2],
       [6. , 2.2, 5. , 1.5],
       [6.1, 2.6, 5.6, 1.4],
       [6.4, 2.7, 5.3, 1.9],
       [5.1, 3.7, 1.5, 0.4],
       [6.2, 2.8, 4.8, 1.8],
       [6.4, 3.1, 5.5, 1.8],
       [4.6, 3.6, 1. , 0.2],
       [4.7, 3.2, 1.6, 0.2],
       [6.7, 3.3, 5.7, 2.1],
       [5.5, 2.4, 3.8, 1.1],
       [5. , 3.3, 1.4, 0.2],
       [5.5, 2.3, 4. , 1.3],
       [7.2, 3.2, 6. , 1.8],
       [5.6, 2.5, 3.9, 1.1],
       [6.7, 3.1, 4.7, 1.5],
       [6.1, 2.8, 4. , 1.3],
       [5.8, 2.7, 3.9, 1.2],
       [5.7, 2.8, 4.5, 1.3],
       [6.4, 2.8, 5.6, 2.1],
       [7.7, 2.6, 6.9, 2.3],
       [6.4, 2.9, 4.3, 1.3],
       [5.7, 3.8, 1.7, 0.3],
       [4.6, 3.4, 1.4, 0.3],
       [5.4, 3.9, 1.7, 0.4],
       [5.1, 3.8, 1.5, 0.3],
       [5.7, 2.9, 4.2, 1.3],
       [4.3, 3. , 1.1, 0.1],
       [4.8, 3. , 1.4, 0.3],
       [5.4, 3.7, 1.5, 0.2],
       [6.3, 3.3, 4.7, 1.6],
       [6.2, 2.9, 4.3, 1.3],
       [5.6, 2.7, 4.2, 1.3],
       [5.7, 4.4, 1.5, 0.4],
       [5.1, 3.3, 1.7, 0.5],
       [5. , 3.4, 1.6, 0.4]])