WIKI
Decision tree learning uses a decision tree (as a predictive model) to go from observations about an item (represented in the branches) to conclusions about the item's target value (represented in the leaves).
决策树学习算法包含特征选择、决策树的生成与决策树的剪枝
特征选择
信息增益
熵
表示随机变量不确定性的度量
条件熵
随机变量X给定的条件下随机变量Y的条件熵定义为:
X给定条件下Y的条件概率分布的熵对X的数学期望
信息增益
特征A对训练数据集D的信息增益g(D,A)定义为:
集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)只差
根据信息增益准则的特征选取的方法:对训练数据集(或子集)D,计算其每个特征的信息增益,并比较它们的大小,选择信息增益最大的特征。
信息增益的算法
信息增益比
特征A对训练数据集D的信息增益比定义为:
其信息增益比g(D,A)与训练数据集D关于特征A的值的熵HA(D)之比
决策树的生成
ID3算法
ID3相当于用极大似然法进行概率模型的选择。
C4.5算法
C4.5在生成的过程中,用信息增益比来选择特征。
决策树的剪枝
决策树的剪枝通过决策树整体的损失函数或代价函数来实现。
损失函数
决策树的生成只考虑了通过提高信息增益(或信息增益比)对训练数据进行更好的拟合,而决策树的剪枝通过优化损失函数还考虑了减小模型复杂度。决策树的生成学习局部的模型,而决策树的剪枝学习整体的模型。
树的剪枝算法
CART算法
CART是在给定输入随机变量X条件下输出随机变量Y的条件概率分布的学习方法。
CART生成
决策树的生成就是递归地构建二叉决策树的过程。对回归树用平方误差最小化准则,对分类树用基尼指数最小化准则,进行特征选择,生成二叉树。
-
回归树的生成
最小二乘回归树生成算法
-
分类树的生成
分类树用基尼指数选择最优特征,同时决定该特征的最优二值切分点。
CART生成算法
PS:算法停止计算的条件是结点中的样本个数小于预定阙值,或样本集的基尼指数小于预定阙值(样本基本属于同一类),或者没有更多特征。
CART剪枝