决策树生成---笔记

自己学习总结

决策树的生成过程主要利用信息增益或者信息增益比进行特征选择，然后依次进行节点的选择，直到全部的叶子节点全部分配完成。
本文将介绍常见的决策树生成算法：ID3算法C4.5算法。
其实ID3算法和C4.5算法原理都很简单。

只要懂得怎么利用信息增益或者信息增益比进行特征选择，那么ID3算法和C4.5算法就会很轻松。

1. ID3算法主要是在每一个子集中利用信息增益进行特征选择，然后在进行节点的类划分；
2. C4.5算法主要是把ID3算法中的信息增益换成信息增益比，因为利用信息增益有一个问题，那就是某一个类的样本量越多，其信息增益就会越大，所以在其中利用信息增益比进行消去样本量的影响。

具体算法：

ID3算法

ID3算法的基本思想是， 以信息熵为度量， 用于决策树节点的属性选择， 每次优先选取信息量最多的属性， 亦即能使熵值变为最小的属性， 以构造一颗熵值下降最快的决策树， 到叶子节点处的熵值为0。 此时， 每个叶子节点对应的实例集中的实例属于同一类。

C4.5算法

注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。

参考文献：

1. 统计学习方法 [M]. 李航，
2. 统计学习方法课件，袁春.