决策树

决策树

决策树运用了分类的一种树结构，内部节点带代表对某一项进行一次测试，两边则是它的结果，从根开始逐一比较最终形成决策结果。

实现决策树的算法有 ID3,C4.5 算法等。

ID3算法

ID3算法：以信息论为基础，以信息熵和信息增益为衡量标准，从而实现对数据的归纳分类。
ID3算法的核心思想是以信息增益度量属性选择，选择分裂后信息增益最大的属性进行分裂。
信息熵(entropy)是用来衡量一个随机变量出现的期望值。如果信息的不确定性越大，熵的值也就越大，出现的各种情况也就越多。

其中，S为所有事件集合，p为发生概率，c为特征总数。注意：熵是以2进制位的个数来度量编码长度的，因此熵的最大值是log2C。

信息增益(information gain)是指信息划分前后的熵的变化，也就是说由于使用这个属性分割样例而导致的期望熵降低。也就是说，信息增益就是原有信息熵与属性划分后信息熵（需要对划分后的信息熵取期望值）的差值，具体计算法如下：

其中，第二项为属性A对S划分的期望信息。

参考：

https://www.cnblogs.com/coder2012/p/4508602.html