信息增益比和信息增益

1. 信息增益
   熵：$H(X)=-{\sum }_{i=1}^k{p}_i\log p_i$
   条件熵：$H(X|Y)=-{\sum }_{j=1}^{n}p(y_j)H(X|y_j)=-{\sum }_{j=1}^{n}p(y_j){\sum }_{i=1}^{k}p(x_i|y_j)\log p(x_i|y_j)$
   信息增益: $g(D,A)=H(D)-H(D|A)$
   信息增益代表利用特征A对数据集D分类后混乱程度降低了多少。信息增益越大，分类性越强。
   但是，信息增益往往会偏向于选出取值较多的特征，但这些特征有可能是无意义的特征，例如用户ID、学号、日期等。如果选择取值较多的特征，会使决策树分支过多。
2. 信息增益比
   $g_R(D,A)=\frac{g(D,A)}{H_A(D)}$
   $H_A(D)=-{\sum }_{i=1}^n{p}_i\log p_i$，其中$p_i=P(\text{A特征取值为}{a}_i)$
   $H_A(D)$属于对信息增益的惩罚参数，特征A取值越多惩罚参数越大，取值越少惩罚参数越小；从而克服信息增益偏向于选取取值较多的特征的问题。