（机器学习）决策树及其sklearn应用

用途：

• 回归：房价预测、贷款风险评估
• 分类：邮件分类、保险行业的险种推广预测、医疗的辅助诊断

优点：

• 计算复杂度不高
• 输出结果容易理解
• 对中间值的缺失不敏感
• 可以处理不相关特征

缺点：

• 容易过拟合

使用数据类型：

• 数值型
• 标称型

算法原理：
决策树的原理就是通过 if-then 的过程将原本杂乱不确定的信息变成一个确定、有序的信息。

信息不确定的度量：

• 熵：香农熵
  $H(D)=-{\sum }_i^k{p}_i\ast log(p_i)$
  $D$：是一个数据集，有$k$个类别
  $p_i$:表示第$i$个类别在$H$中的概率
• GINI系数
  $G=1-{\sum }_i^k{p}_i^2$

*熵的计算要比GINI系数的计算稍慢，Sklearn中默认GINI系数，从效果上来讲并无明显差别。

决策前后，信息不确定性变化的度量：

• 信息增益：$g(D|A)=H(D)-$