决策树相关公式

ID3:
使用信息增益或者互信息进行特征选择。取值多的属性，能让数据更纯，信息增益更大。
C4.5:
信息增益率
CART:
基尼指数

属性的信息增益或者基尼指数越大，就是属性对样本的熵减少能力越强，这个属性使得数据由不确定性变成确定性的能力强。
经验熵：

经验条件熵：

信息增益：

信息增益率：

基尼系数：
将f(x)=-lnx在x=1处一阶展开，忽略高阶无穷小，得到f(x)≈1-x