西瓜书 学习笔记3

西瓜书 学习笔记3

1.决策树是一类常见的机器学习方法。决策树的生成是一个递归的过程。
2.决策树的最关键部分是选择最优划分属性。决策树的分支节点所包含的样本尽可能属于同一类别，即结点的“纯度”越来越高。
3.“信息熵”是度量样本集合纯度最常用的一种指标。

4.信息增益：

5.增益率准则对可取值数目较少的属性有所偏好。
增益率：

6.基尼指数：