机器学习之决策树（算法详细推导）

决策树

决策树针对缺失数据的处理办法

1. 放弃含缺失值的样本，仅使用无缺失值的样本来进行学习
2. 根据此属性值已知的其他样本，来估计这个缺失的属性值
   • 赋给它当前结点所有样本中该属性最常见的值
   • 赋给它当前结点同类样本中该属性最常见的值
   • 为含缺失值属性的每个可能值赋予一个概率

信息熵

范围

[0,${\log }_{2}n$]， 0->确定事件;${\log }_{2}n$->均匀分布

特征

Ent(x): 当x的取值越多越大

Ent(x,a): 当a的前提下，x的取值越多越大

决策树类型

ID3(基于信息增益)

$$ma{x}_{a}Gain(D,a)=Ent(D)-Ent(D,a)$$

C4.5(基于信息增益率)

$$ma{x}_{a}Gain\_ratio(D,a)=\frac{Gain(D,a)}{Ent(a)}$$

CART(基于基尼系数)

$$\begin{gathered} mi{n}_{a}Gini(D,a)=\sum _{i=1}^{m}p(a_i)Gini(D_i) \\ Gini(D_i)=1-\sum _{k\in D_i}p(k{)}^2 \end{gathered}$$

终止分支的条件

• Gain <= threshold
• 该节点上所有样本的类别相同
• 所有特征都已经用过了

注意

• 信息增益不会<0
• 叶子节点不一定确保只有一个类别