用途:
- 回归:房价预测、贷款风险评估
- 分类:邮件分类、保险行业的险种推广预测、医疗的辅助诊断
优点:
- 计算复杂度不高
- 输出结果容易理解
- 对中间值的缺失不敏感
- 可以处理不相关特征
缺点:
- 容易过拟合
使用数据类型:
- 数值型
- 标称型
算法原理:
决策树的原理就是通过 if-then 的过程将原本杂乱不确定的信息变成一个确定、有序的信息。
信息不确定的度量:
- 熵:香农熵
H ( D ) = − ∑ i k p i ∗ l o g ( p i ) H (D)= - \sum^k_i p_i * log(p_i) H(D)=−∑ikpi∗log(pi)
D D D:是一个数据集,有 k k k个类别
p i p_i pi:表示第 i i i个类别在 H H H中的概率 - GINI系数
G = 1 − ∑ i k p i 2 G = 1 - \sum^k_i p_i ^2 G=1−∑ikpi2
*熵的计算要比GINI系数的计算稍慢,Sklearn中默认GINI系数,从效果上来讲并无明显差别。
决策前后,信息不确定性变化的度量:
- 信息增益: g ( D ∣ A ) = H ( D ) − H ( D ∣ A ) g(D|A) = H(D)-H(D|A) g(D∣A)=H(D)−