决策树(Decision Tree)是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规 则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。
决策树的基本算法如下图（图来源于周志华的《机器学习》74页）:
算法的核心在于如何选择最优划分属性，即算法中的第8行。
sklearn中的决策树模块提供了两种方式：信息熵和基尼系数。
决策树算法的核心是解决两个问题：
- 如何从数据表中找出最佳节点和最佳分枝
一般而言，随着分枝过程的不断进行，我们希望决策树的分枝结点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。常用信息熵和基尼指数来度量结点的“纯度”。
a、信息熵：信息熵越小，“纯度”越高。用属性a对样本集D进行划分所获得的“信息增益”越大，则使用该属性进行划分所获得的的“纯度”提升越大。因此可以使用信息增益来进行决策树的划分属性选择。比如ID3决策树学习算法就是以信息增益为准则来选择划分属性的。
b、 基尼指数：基尼指数越小，“纯度”越高。同理，在候选属性集合中，选择使得划分后基尼指数最小的属性作为最优划分属性。 - 如何让决策树停止生长，防止过拟合
剪枝处理是决策树学习算法对付“过拟合”的主要手段。决策树剪枝的基本策略有“预剪枝”和“后剪枝”。预剪枝是指在决策树生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分并将当前结点标记为叶结点；后剪枝则是先从训练集生成一棵完整的决策树，然后自底向上地对非叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化性能提升，则将该子树替换为叶结点。
- sklearn模块tree
from sklearn import tree
包含五个类：
| 接口 | 描述 |
|---|---|
| tree.DecisionTreeClassifier() | 分类树 |
| tree.DecisionTreeRegressor() | 回归树 |
| tree.export_graphviz() | 将生成的决策树导出为DOT格式，画图专用 |
| tree.ExtraTreeClassifier() | 高随机版本的分类树 |
| tree.ExtraTreeRegressor() | 高随机版本的回归树 |
一、分类树（DecisionTreeClassifier）
使用流程代码：
from sklearn import tree # 导入需要的模块
clf = tree.DecisionTreeClassifier() #实例化
clf = clf.fit(X_train,y_train) #用训练集数据训练模型
result = clf.score(X_test,y_test) #导入测试集，从接口中调用需要的信息
- 重要参数
- criterion：决定决策树需要寻找最佳节点和最佳分枝方法的参数。通常为了要将表格转化为一棵树，决策树需要找出最佳节点和最佳的分枝方法，对分类树来说，衡量这个“最佳”的指标叫做“不纯度”。不纯度越低，决策树对训练集的拟合越好。现在使用的决策树算法在分枝方法上的核心大多是围绕在对某个不纯度相关指标的最优化上。
不纯度基于节点来计算，树中的每个节点都会有一个不纯度，并且子节点的不纯度一定是低于父节点的，也就是说，在同一棵决策树上，叶子节点的不纯度一定是最低的。
参数有两个值可供选择：
| criterion | description |
|---|---|
| entropy | 使用信息熵的方法 |
| gini | 使用基尼系数的方法 |
- random_state：设置分枝中的随机模式的参数，默认None。在高维度时随机性会表现更明显，训练每次生成的决策树可能都不一样。在低维度的数据
(比如鸢尾花数据集)，随机性几乎不会显现，每次训练得到的都是同一棵树。 - splitter：也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝(重要性可以通过属性feature_importances_查看)，输入“random"，决策树在 分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能 性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。
clf = tree.DecisionTreeClassifier(criterion='entropy',
random_state=1,
splitter='random')
clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)
score
# 画决策树图
feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄 酮','非黄烷类酚类','花青素','颜色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
dot_data = tree.export_graphviz(clf,
out_file=None,
feature_names=feature_name, # 特征名称
class_names=['琴酒', '雪莉', '贝尔摩德'], # 类别名称
filled=True, # 节点是否填充颜色
rounded=True) # 节点是否是圆角
graph = gv.Source(dot_data)
graph
- 剪枝参数
在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。
为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。
- max_depth：限制树的最大深度，超过设定深度的树枝全部剪掉。
这是用得最广泛的剪枝参数，在高维度低样本量时非常有效。决策树多生长一层，对样本量的需求会增加一倍，所以限制树深度能够有效地限制过拟合。在集成算法中也非常实用。实际使用时，建议从=3开始尝试，看看拟合的效 果再决定是否增加设定深度。 - min_samples_leaf & min_samples_split： min_samples_leaf限定，一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生，或者，分枝会朝着满足每个子节点都包含min_samples_leaf个样本的方向去发生。
一般搭配max_depth使用，在回归树中有神奇的效果，可以让模型变得更加平滑。这个参数的数量设置得太小会引起过拟合，设置得太大就会阻止模型学习数据。一般来说，建议从=5开始使用。如果叶节点中含有的样本量变化很大，建议输入浮点数作为样本量的百分比来使用。同时，这个参数可以保证每个叶子的最小尺寸，可以在回归问题中避免低方差，过拟合的叶子节点出现。对于类别不多的分类问题，=1通常就是最佳选择。
min_samples_split限定，一个节点必须要包含至少min_samples_split个训练样本，这个节点才允许被分枝，否则分枝就不会发生。
clf = tree.DecisionTreeClassifier(criterion="entropy"
,random_state=30
,splitter="random"
,max_depth=3 # 树的最大深度
,min_samples_leaf=10 # 叶子节点最小样本数
,min_samples_split=10) # 当节点的样本数达到此值时不再分枝
- max_features & min_impurity_decrease：一般max_depth使用，用作树的“精修”
max_features限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工，max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。
min_impurity_decrease限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在0.19版本中更新的 功能，在0.19版本之前时使用min_impurity_split。
- 目标权重参数
- class_weight & min_weight_fraction_leaf：完成样本标签平衡的参数。样本不平衡是指在一组数据集中，标签的一类天生占有很大的比例。比如说，在银行要判断“一个办了信用卡的人是否会违约”，就是是vs否(1%:99%)的比例。这种分类状况下，即便模型什么也不 做，全把结果预测成“否”，正确率也能有99%。因此我们要使用class_weight参数对样本标签进行一定的均衡，给少量的标签更多的权重，让模型更偏向少数类，向捕获少数类的方向建模。该参数默认None，此模式表示自动给与数据集中的所有标签相同的权重。
有了权重之后，样本量就不再是单纯地记录数目，而是受输入的权重影响了，因此这时候剪枝，就需要搭配min_weight_fraction_leaf这个基于权重的剪枝参数来使用。另请注意，基于权重的剪枝参数（例如min_weight_fraction_leaf）将比不知道样本权重的标准（比如min_samples_leaf）更少偏向主导类。如果样本是加权的，则使用基于权重的预修剪标准来更容易优化树结构，这确保叶节点至少包含样本权重的总和的一小部分。
二、回归树（DecisionTreeRegressor）
- 回归树类的参数和接口，大致和分类树差不多。回归树类的criterion参数衡量分枝质量的指标，支持三种输入：
- 输入"mse"使用均方误差mean squared error(MSE)，父节点和叶子节点之间的均方误差的差额将被用来作为特征选择的标准，这种方法通过使用叶子节点的均值来最小化L2损失
- 输入“friedman_mse”使用费尔德曼均方误差，这种指标使用弗里德曼针对潜在分枝中的问题改进后的均方误差
- 输入"mae"使用绝对平均误差MAE(mean absolute error)，这种指标使用叶节点的中值来最小化L1损失
均方误差（MSE）在参数中的作用是分枝质量衡量指标，公式如下：
其中u就是N倍的MSE。v是总平方和，N是样本数量，i是每一个数据样本，fi是模型回归出的数值，yi是样本点i实际的数值标签。y帽是真实数值标签的平均数。
R平方可正可负(如果模型的残差平方和远远大于模型的总平方和，模型非常糟糕，R平方就会为负)，而均方误差永远为正。
# 回归决策树
from sklearn.datasets import load_boston
from sklearn.model_selection import cross_val_score
from sklearn.tree import DecisionTreeRegressor
boston = load_boston()
regressor = DecisionTreeRegressor(random_state=0)
# 对模型进行交叉验证 最后的mean()是求均值
cross_val_score(regressor,
boston.data,
boston.target,
cv=10, # 表示10折交叉验证 默认是5折
scoring = "neg_mean_squared_error").mean()
三、决策树的优缺点
- 决策树的有点：
- 易于理解和解释，因为树木可以画出来被看见
- 需要很少的数据准备。其他很多算法通常都需要数据规范化，需要创建虚拟变量并删除空值等。但请注意，sklearn中的决策树模块不支持对缺失值的处理。
- 使用树的成本(比如说，在预测数据的时候)是用于训练树的数据点的数量的对数，相比于其他算法，这是一个很低的成本。
- 能够同时处理数字和分类数据，既可以做回归又可以做分类。其他技术通常专门用于分析仅具有一种变量类型的数据集。
- 能够处理多输出问题，即含有多个标签的问题，注意与一个标签中含有多种标签分类的问题区别开。
- 是一个白盒模型，结果很容易能够被解释。如果在模型中可以观察到给定的情况，则可以通过布尔逻辑轻松解释条件。相反，在黑盒模型中(例如，在人工神经网络中)，结果可能更难以解释。
- 可以使用统计测试验证模型，这让我们可以考虑模型的可靠性。
- 即使其假设在某种程度上违反了生成数据的真实模型，也能够表现良好。
决策树的缺点。
- 决策树的缺点:
- 决策树学习者可能创建过于复杂的树，这些树不能很好地推广数据。这称为过度拟合。修剪，设置叶节点所需的最小样本数或设置树的最大深度等机制是避免此问题所必需的，而这些参数的整合和调整对初学者来说会比较晦涩。
- 决策树可能不稳定，数据中微小的变化可能导致生成完全不同的树，这个问题需要通过集成算法来解决。
- 决策树的学习是基于贪婪算法，它靠优化局部最优(每个节点的最优)来试图达到整体的最优，但这种做法不能保证返回全局最优决策树。这个问题也可以由集成算法来解决，在随机森林中，特征和样本会在分枝过程中被随机采样。
- 有些概念很难学习，因为决策树不容易表达它们，例如XOR，奇偶校验或多路复用器问题。
- 如果标签中的某些类占主导地位，决策树学习者会创建偏向主导类的树。因此，建议在拟合决策树之前平衡 数据集。
4709
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
