机器学习决策树_机器学习之旅（1）——决策树

今天讲的内容是机器学习中的决策树算法。

一、理论介绍

什么是决策树？

不仅是机器学习领域，其实在我们每天的日常决策中，我们都在和决策树打交道。比如说：我们平时经常接触的流程图，可以看做决策树表现形式的一种。

我们使用sklearn库绘制的决策树，通常情况下是下面这样子的：

（看起来，是不是和思维导图也有点像）

决策树的定义

决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。

决策树如何工作？

决策树算法的本质是一种图结构，我们只需要问一系列问题就可以对数据进行分类。

打个比方：

你家养了一只宠物，你想让你的朋友猜一猜你养得是什么宠物，这个时候，你让你的朋友问一系列是非题，比如：这只宠物有毛发吗？这是宠物是陆生动物吗? 等等问题。

而每当你的朋友问你一个问题，你只能回答“是或否”。

而每当有一个问题的出现，你的回答总会将所有动物分为两类，通过一层一层的分类，筛选，最终得出你养的是什么动物。无论你养的是什么动物，最终我们都能通过这个分类模型，判断出正确答案。

决策树算法是如何计算的？

构建决策树的流行算法（如 ID3 或 C4.5）的核心，是贪婪最大化信息增益：在每一步，算法都会选择能在分割后给出最大信息增益的变量。接着递归重复这一流程，直到熵为零（或者，为了避免过拟合，直到熵为某个较小的值）。不同的算法使用不同的推断，通过「提前停止」或「截断」以避免构建出过拟合的树。

熵是什么？

熵是一个在物理、信息论和其他领域中广泛应用的重要概念，可以衡量获得的信息量。对于具有 N 种可能状态的系统而言，熵的定义如下：

其中，pipi是系统位于第 i 个状态的概率。熵可以描述为系统的混沌程度，熵越高，系统的有序性越差，反之亦然。

熵的作用很多，在过往的文章中，我们也试过利用熵值计算指标权重：

侦探L：如何用python实现熵值法求指标权重(实例)​zhuanlan.zhihu.com

而在我们的决策树模型中，熵帮助我们高效的分割数据。

打个比方：

在上面的宠物例子中，如果我们询问“这个宠物是否有两只眼睛？”这个问题，可能只会帮我们筛选掉一下部分的答案。而当我们询问：“这只宠物是陆生动物吗？”一下子就帮我们把所有水生动物给排除掉了。

而熵，就是在帮我们做这项事情（分析哪种问答能够更快地筛去错误答案）

除了熵之外，也有其他指标来衡量分割的好坏：

在日常使用决策树时，基尼系数和熵的使用是最多的，错分率则基本不用了。

决策树算法的核心是什么？

• 从数据表中找出最佳节点和最佳分枝
• 让决策树停止生长，防止过拟合

使用sklearn建模的基本流程：

决策树的优点：

• 1. 易于理解和解释，因为树木可以画出来被看见
• 2. 需要很少的数据准备。其他很多算法通常都需要数据规范化，需要创建虚拟变量并删除空值等。但请注意，sklearn中的决策树模块不支持对缺失值的处理。
• 3. 使用树的成本（比如说，在预测数据的时候）是用于训练树的数据点的数量的对数，相比于其他算法，这是一个很低的成本。
• 4. 能够同时处理数字和分类数据，既可以做回归又可以做分类。其他技术通常专门用于分析仅具有一种变量类型的数据集。
• 5. 能够处理多输出问题，即含有多个标签的问题，注意与一个标签中含有多种标签分类的问题区别开
• 6. 是一个白盒模型，结果很容易能够被解释。如果在模型中可以观察到给定的情况，则可以通过布尔逻辑轻松解释条件。相反，在黑盒模型中（例如，在人工神经网络中），结果可能更难以解释。
• 7. 可以使用统计测试验证模型，这让我们可以考虑模型的可靠性。
• 8. 即使其假设在某种程度上违反了生成数据的真实模型，也能够表现良好

决策树的缺点：

• 1. 决策树学习者可能创建过于复杂的树，这些树不能很好地推广数据。这称为过度拟合。修剪，设置叶节点所需的最小样本数或设置树的最大深度等机制是避免此问题所必需的，而这些参数的整合和调整对初学者来说会比较晦涩
• 2. 决策树可能不稳定，数据中微小的变化可能导致生成完全不同的树，这个问题需要通过集成算法来解决。
• 3. 决策树的学习是基于贪婪算法，它靠优化局部最优（每个节点的最优）来试图达到整体的最优，但这种做法
• 不能保证返回全局最优决策树。这个问题也可以由集成算法来解决，在随机森林中，特征和样本会在分枝过程中被随机采样。
• 4. 有些概念很难学习，因为决策树不容易表达它们，例如XOR，奇偶校验或多路复用器问题。
• 5. 如果标签中的某些类占主导地位，决策树学习者会创建偏向主导类的树。因此，建议在拟合决策树之前平衡数据集。

---

二、实操说明

sklearn库中的决策树模块

sklearn中决策树的类都在”tree“这个模块之下。这个模块总共包含五个类：

（1）DecisionTreeClassifier（分类树）

基本流程：

当所有特征均被使用，或整体的不纯度指标已达到最优时，决策树就会停止生长。

类体：

class sklearn.tree.DecisionTreeClassifier (criterion=’gini’, splitter=’best’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None,
random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None,
class_weight=None, presort=False)

分类树参数列表

主要参数：

为了方便更好地理解吸收知识，可以按功能给下列主要系数分类：

• 第一类：创建树体的系数：1-3
• 第二类：修建树枝的系数（剪枝参数）：4-6
• 第三类：目标权重参数：7

1、criterion：

用来决定不纯度的计算方法，帮忙找出最佳节点和最佳分枝，不纯度越低，决策树对训练集的拟合越好。其中：

1. 输入”entropy“，使用信息熵（Entropy）
2. 输入”gini“，使用基尼系数（Gini Impurity）

（默认使用基尼系数）

如何选择使用信息熵还是基尼系数：

1. 数据维度很大，噪音很大时使用基尼系数
2. 维度低，数据比较清晰的时候，选哪一个都可以
3. 当决策树的拟合程度不够的时候，使用信息熵
4. 具体问题具体分析，条件允许时两个都试一下，取效果更好的一个。

2、random_state ：

用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

3、splitter：

用来控制决策树中的随机选项的，有两种输入值，其中：

1. 输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看）
2. 输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。

4、max_depth：

限制树的最大深度，超过设定深度的树枝全部剪掉。

这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从=3开始尝试，看看拟合的效果再决定是否增加设定深度。

5、min_samples_leaf & min_samples_split：

min_samples_leaf限定，一个节点在分枝后的每个子节点都必须包含至min_samples_leaf个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。

min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。

6、max_features & min_impurity_decrease：

一般max_depth使用，用作树的”精修“

max_features限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工，max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。

min_impurity_decrease限制信息增益的大小，信息增益小于设定数值的分枝不会发生。

7、class_weight & min_weight_fraction_leaf：

完成样本标签平衡的参数。样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例。比如说，在银行要判断“一个办了信用卡的人是否会违约”，就是是vs否（1%：99%）的比例。这种分类状况下，即便模型什么也不做，全把结果预测成“否”，正确率也能有99%。因此我们要使用class_weight参数对样本标签进行一定的均衡，给少量的标签更多的权重，让模型更偏向少数类，向捕获少数类的方向建模。该参数默认None，此模式表示自动给数据集中的所有标签相同的权重。

有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了，因此这时候剪枝，就需要搭配min_weight_fraction_leaf这个基于权重的剪枝参数来使用。另请注意，基于权重的剪枝参数（例如min_weight_fraction_leaf）将比不知道样本权重的标准（比如min_samples_leaf）更少偏向主导类。如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。

分类树属性列表

主要属性：

（属性是在模型训练之后，能够调用查看的模型的各种性质。）

1、feature_importances_：

查看各个特征对模型的重要性。

分类树接口列表

主要接口：

1、fit：

用训练集数据训练模型

2、score：

返回预测的准确度

3、apply：

输入测试集，返回每个测试样本所在的叶子节点的索引

4、predict：

输入测试集，返回每个测试样本的标签（每个测试样本的分类/回归结果）

（注：所有接口中要求输入X_train和X_test的部分，输入的特征矩阵必须至少是一个二维矩阵。sklearn不接受任何一维矩阵作为特征矩阵被输入。如果你的数据的确只有一个特征，那必须用reshape(-1,1)来给矩阵增维；如果你的数据只有一个特征和一个样本，使用reshape(1,-1)来给你的数据增维。）

（2）DecisionTreeRegressor（回归树）

class sklearn.tree.DecisionTreeRegressor (criterion=’mse’, splitter=’best’, max_depth=None,
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None,
random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, presort=False)

（几乎所有参数，属性及接口都和分类树一模一样。需要注意的是，在回归树种，没有标签分布是否均衡的问题，因此没有class_weight这样的参数。）

下面我们只给出在回归树中与分类树有区别的部分

1、criterion：

回归树衡量分枝质量的指标，支持的标准有三种：

1. 输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失
2. 输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差
3. 输入"mae"使用绝对平均误差MAE（mean absolute error），这种指标使用叶节点的中值来最小化L1损失。

理论补充（学有余力的可以看一下）

均方误差mse的定义：

N是样本数量，i是每一个数据样本，fi是模型回归出的数值，yi是样本点i实际的数值标签。

本质：样本真实数据与回归结果的差异。在回归树中，MSE不只是我们的分枝质量衡量指标，也是我们最常用的衡量回归树回归质量的指标，（在分类树中这个指标是score代表的预测准确率）。在回归中，均方误差越小越好。

（虽然均方误差永远为正，但是sklearn当中使用均方误差作为评判标准时，却是计算”负均方误差“（neg_mean_squared_error）。这是因为sklearn在计算模型评估指标的时候，会考虑指标本身的性质，均方误差本身是一种误差，所以被sklearn划分为模型的一种损失(loss)，因此在sklearn当中，都以负数表示。真正的均方误差MSE的数值，其实就是neg_mean_squared_error去掉负号的数字。）

（主要属性和接口与分类树基本一致，我们就不重复写了）

以上内容涵盖了决策树算法的核心理论及使用技巧，主要是一些笔记以及知识点，如果有需要的话我会再进行补充的~

---

以上便是<机器学习之旅（1）——决策树>的内容，感谢大家的细心阅读，同时欢迎感兴趣的小伙伴一起讨论、学习，想要了解更多内容的可以看我的其他文章，同时可以持续关注我的动态~