决策树相关知识

一、决策树简介
决策树是一种树形结构，树内部每个节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶子节点代表一个分类类别。通过训练数据构建决策树，可以对未知数据进行分类。

根节点：最顶层的分类条件
中间节点：中间分类条件
分支：代表每一个条件的输出
叶节点：代表每一个类别
二、决策树的生成原则
数据不断分裂的递归过程，每一次分裂，尽可能让类别一样的数据在树的一边，当树的叶子节点的数据都是一类的时候，则停止分类。这样分类的数据，每个节点两边的数据不同，将相同的数据分类到树的一侧，能将数据分类的更纯粹。减少树的高度和训练决策树的迭代次数。

注意：训练决策树的数据集要离散化，不然有可能造成训练出来的树有些节点的分支特别多，容易造成过拟合。

一个合理的决策树可以描述为：决策树的高度相对低而且树的两边能将数据分类的更彻底。

参考链接：https://www.jianshu.com/p/b04e1d9ea6f1

三、决策树的特点
1.优点具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。
2.缺点模型容易过拟合，需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限，无法达到其他强监督模型效果。方差较高，数据分布的轻微改变很容易造成树结构完全不同

四、信息增益
信息增益：代表熵的变化程度。分类前的信息熵减去分类后的信息熵。

通过对所有分类条件计算信息增益，那么信息增益最大的那个分类条件就是最优的根节点分类条件的选择。

五、分类条件选择
1.信息熵

信息熵是用来量化信息信息量的指标，信息熵越大，则信息越混乱，信息熵越小，则信息越纯粹。熵的定义如下

信息熵公式：

其中，n代表当前类别有多少类别，pi代表当前类别中某一类别的概率。