机器学习第1集——分类决策树tree.DecisionTreeClassifier()

一、首先，机器学习建模的基本流程分为3步

        ①实例化（也就是建立模型对象）

        ②传入训练集和测试集，训练模型

        ③通过模型接口提取需要的信息

        那么分类树的基本代码是：

from sklearn import tree                #导入需要的模块
clf = tree.DecisionTreeClassifier()     #实例化，也就是建立模型对象
clf = clf.fit(X_train,y_train)          #用训练集数据训练模型，使用的接口是fit
                                        #英文中fit的意思是“拟合、适合”
result = clf.score(X_test,y_test)       #导入测试集，由接口score得到模型的得分

二、那么DecisionTreeClassifier()有哪些重要的参数呢，大概有8个重要（用得到的）参数：

①criterion，用来决定不纯度的计算方法，可选项有两个为：entropy（信息熵）、gini（基尼系数）；在实际使用中，信息熵和基尼系数的效果基本相同。

参数	criterion
如何影响模型？	确定不纯度的计算方法，帮忙找出最佳节点和最佳分枝，不纯度越低，决策树对训练集的拟合越好
可能的输入有哪些？	不填默认基尼系数，填写 gini 使用基尼系数，填写 entropy 使用信息增益。填的时候要加双引号或单引号。
怎么选取参数？	通常就使用基尼系数 数据维度很大，噪音很大时使用基尼系数 维度低，数据比较清晰的时候，信息熵和基尼系数没区别 当决策树的拟合程度不够的时候，使用信息熵 两个都试试，不好就换另外一个

②random_state，设置随机数种子，使得你的结果可以被别人复现。

③splitter，这个参数可以用来防止过拟合，选项可选best、random，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。

④max_depth，限制树的最大深度，超过设定深度的树枝全部剪掉 。

⑤min_samples_split，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则 分枝就不会发生。

⑥min_samples_leaf，一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生。或者理解为所有的叶子结点必须至少包含min_samples_split个训练样本。

⑦max_feature，限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工。

⑧min_impurity_decrease，限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在0.19版本中更新的 功能，在0.19版本之前时使用min_impurity_split。

三、认识一个重要的属性

        feature_importances_：能够查看各个特征对模型的重要性。

四、认识四个重要接口

        ①fit：用于将训练集传入模型

        ②score ：用于得出分类决策树的得分（评分）

        注：的fit和score，几乎对每个算法（模型）都可以使用。

        ③apply ：中输入测试集返回每个测试样本所在的叶子节点的索引。

 

        ④predict：输入测试集返回每个测试样本的标签。

        

下面来实际建立一棵分类决策树：

# 以下代码运行环境：jupyter lab 或 jupyter notebppk
# 导入需要的模块
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
import pandas as pd

# 使用自带的数据集——红酒wine
wine = load_wine()

# 可以看看这份数据的大致样子
wine.data.shape
wine.target

#如果wine是一张表，应该长这样：
pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)

# 查看一下数据中用于分类的数据——“特征名”，以及我们的分类结果“目标名”
wine.feature_names
wine.target_names

# 设置训练集和测试集
# train_test_split用于划分测试集和训练集
# 0.3表示30%的数据做测试集，剩下的70%做训练集
Xtrain , Xtest , Ytrain , Ytest = train_test_split(wine.data , wine.target , test_size=0.3)  

# 我们来查看一下相关数据的形状
Xtrain.shape
Xtest.shape

##################
#下面开始建立模型，三部曲：实例化、训练模型、查看模型得分
##################
clf = tree.DecisionTreeClassifier(criterion="entropy")   #建立模型对象
clf = clf.fit(Xtrain, Ytrain)                            #传入训练数据
score = clf.score(Xtest, Ytest)                          #返回预测的准确度，也就是模型的评分
score

# 下面将训练好的这棵树画出来
# 导入画决策树需要的库graphviz
import graphviz

# 定义目标分类的标签（中文名）
feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类',
                '花青素','颜色强度','色调','od280/od315稀释葡萄酒','脯氨酸']

# 画出决策树
dot_data = tree.export_graphviz(clf                                       # 训练好的模型
                                ,out_file=None
                                ,feature_names = feature_name             # 特征的名字
                                ,class_names =["琴酒","雪莉","贝尔摩德"]   # 标签的名字
                                ,filled=True                              # 给节点填充不同的颜色
                                ,rounded=True                             # 是否圆滑的框
                                ,random_state=25                          # 设置随机数种子，使得你的结果可以被别人复现
                                ,splitter='best'                          # 见上文解析
                  #              ,min_impurity_decrease                  # 限制信息增益的大小，信息增益小于设定数值的分枝不会发生
                               )
graph = graphviz.Source(dot_data)      # 把刚刚画好的树导出

graph

最后，我们来总结一下：

1、建立分类决策树三部曲：实例化、训练模型、评估模型

2、八个重要参数：Criterion，random_state，splitter，max_depth，min_samples_split，min_samples_leaf，max_feature，min_impurity_decrease

3、一个重要属性：feature_importances_

4、四个接口：fifit，score，apply，predict