机器学习-决策树（理解+代码）

特征选择，构造决策树，修剪决策树
损失函数

---

基本知识

1. 熵：$H(X)=-\sum_{i=1}^{n}p_i\log {p_i}$
2. 条件熵：$H(Y|X)=\sum_{i=1}^{n}p_iH(Y|X=x_i)$
3. 信息增益:$g(D,A)=H(D)-H(D|A)$ A:特征D:数据集
4. 信息增益比：
   $$g_R(D,A)=\frac{g(D,A)}{H_A(D)},\\ H_A(D)=-\sum_{i=1}^{n}\frac{|D_i|}{D}\log\frac{|D_i|}{D}$$
   用信息增益选区特征倾向于选取取值多的特征，用信息增益比可以解决这个问题
   

   ---

ID3算法