决策树

【学习任务】

1. 信息论基础（熵，联合熵，条件熵，信息增益和基尼不纯度）
2. 决策树的不同分类算法（ID3算法，C4.5和CART分类树）的原理及应用场景
3. 回归树原理
4. 决策树防止过拟合手段

---

1、信息论基础（熵，联合熵，条件熵，信息增益和基尼不纯度）

自信息：

信息熵：

代表的是随机变量或整个系统的不确定性，熵越大，随机变量或系统的不确定性就越大。即描述的是有关事件X的所有可能结果的自信息期望值：

其中n代表事件X的所有n种可能的取值，pi代表了事件X为i时的概率；

联合熵（Joint Entropy）：

对于服从联合分布为p(x,y)的一对离散型随机变量（X，Y），其联合熵H（X，Y）定义为：

条件熵：

 H(Y|X) 表示在已知随机变量 X 的条件下随机变量 Y 的不确定性。条件熵 H(Y|X) 定义为 X 给定条件下 Y 的条件概率分布的熵对 X 的数学期望。

信息增益：

以某种特征划分数据集前后的熵的差值，即待分类集合的熵和选定某个特征的条件熵之差。

基尼不纯度：

即基尼指数

2、决策树的不同分类算法（ID3算法、C4.5、CART分类树）的原理及应用场景

决策树通常包括三个步骤: 特征选择，决策树生成和决策树剪枝
决策树的生成过程就是：使用满足划分准则的特征不断的将数据集划分为纯度更高，不确定性更小的子集的过程。
ID3：采用信息增益划分数据。计算使用所有特征划分数据集，得到多个特征划分数据集的信息增益，从这些信息增益中选择最大的，因而当前结点的划分特征便是使信息增益最大的划分所使用的特征。
不足：信息增益偏向取值较多的特征。

C4.5：采用信息增益比划分数据，弥补ID3的不足。
不足：只能进行分类。

CART：采用基尼系数划分数据，同时决定改特征的最优二值切分点，可针对离散和连续型，可以做分类和回归。
不足：只能进行分类。

3、回归树原理

划分的准则是平方误差最小化

4、.决策树防止过拟合手段

当某个模型过度的学习训练数据中的细节和噪音，以至于模型在新的数据上表现很差，我们称过拟合发生了。这意味着训练数据中的噪音或者随机波动也被当做概念被模型学习了。而问题就在于这些概念不适用于新的数据，从而导致模型泛化性能的变差。可以从以下两个方面着手：
预剪枝：是在决策树的生成过程中，对每个结点在划分前先进行估计，若当前结点的划分不能带来决策树泛化性能提升，则停止划分即结束树的构建并将当前节点标记为叶结点。
后剪枝：是先从训练集生成一棵完整的决策树，然后自底向上地对叶结点进行考察，若将该结点对应的子树替换为叶结点能带来决策树泛化为性能提升，则将该子树替换为叶结点。泛化性能的提升可以使用交叉验证数据来检查修剪的效果，通过使用交叉验证数据，测试扩展节点是否会带来改进。如果显示会带来改进，那么我们可以继续扩展该节点。但是，如果精度降低，则不应该扩展，节点应该转换为叶节点。

参考：

https://shuwoom.com/?p=1452

https://blog.csdn.net/sunshihua12829/article/details/43157975