【菜鸟笔记|机器学习】决策树

之前先学习了线性模型，这次学习的是树形模型。由于决策树内容不多且易于理解，博主也没有花太多时间思考，本笔记较为精简，只记录决策树的划分选择。

理论部分：

决策树的关键在于如何选择最优划分属性。书中介绍了三种算法：ID3，C4.5，CART。其中ID3是最基础的算法。为减少过拟合，C4.5算法在ID3基础上进行改进。而CART则是使用了基尼指数，是目前最普遍的划分算法。
1.ID3决策树学习算法
ID3使用信息增益作为划分准则：

选择信息增益最大的属性作为划分属性。
2.C4.5决策树算法
C4.5使用信息率作为划分准则：

3.CART决策树