目录
一、算法原理
从几何角度理解
根据某种准则划分特征空间
最终目的
将样本越分越“纯”
二、ID3决策树
自信息
信息熵
(以离散型为例)
即自信息的期望,度量随机变量X的不确定性,信息熵越大越不确定;X各个取值概率均等时信息熵最大(最不确定),某个取值概率为1时信息熵最小(最确定)。
将样本类别标记y视作随机变量,各个类别在样本集合D中的占比pk(k = 1,2,...|y|)视作各个类别取值的概率,则样本集合D(随机变量y)的信息熵(底数b去2)为
此时信息熵所代表的“不确定性”可以转换理解为集合样本内样本的"纯度"。
条件熵{Y的信息熵关于概率分布X的期望):
在已知X后Y的不确定性
从单个属性(特征)a的角度来看,假设其可能取值为的样本集合,
表示占比,那么在已知属性a的取值后,样本集合D的条件熵为
信息增益
在已知属性a的取值后y的不确定性减少的量,也即纯度的提升
ID3决策树
以信息增益为准则来划分属性的决策树
三、C4.5决策树
增益率
信息增益原则对可能取值数目较多的属性有所偏好(例如“编号”这个较为极端的例子,不过其本是原因不是取值数目过多,而是每个区之里面所包含的样本量太少),为减少这种偏好可能带来的不利影响,C4.5决策树选择使用“增益率”代替“信息增益",增益率定义为
其中
称为属性a的"固有值”,a的可能取值个数V越大,通常IV(a)也越大。