机器学习第四章决策树

算法原理

根据某种准则划分特征空间，希望把样本越来越纯（可以用信息熵度量）。

ID3决策树

根据上文所推导的信息增益，ID3决策树算法主要以信息增益为准则，划分属性
针对ID3决策树体现的属性偏好（即对取值数值多的属性有所偏好），改进算法为C45决策树，不直接使用信息增益，通过使用增益率来来选择最优划分属性。

CART决策树

其主要使用基尼指数来选择划分属性，数据集D的纯度用基尼值来衡量。