决策树

决策树

作用：
通过构建决策树解决分类问题
基本步骤：
1、计算熵
2、计算条件熵
3、计算信息增益
4、得到信息增益最大的值
5、建立树
主流算法：
1、ID3
2、C4.5
3、CART
优化方式：
1、剪枝优化：
预剪枝（贪心思想导致决策树出现欠拟合的情况）
后剪枝（效率较低）
2、函数优化：
信息增益（它偏向于支持有着许多结果的特征，导致过拟合）
信息增益率（偏向选择特征值比较少的属性，这一点可以尝试：首先，仅考虑那些信息增益超过平均值的属性，其次再比较信息增益。）
基尼系数（基尼系数的计算公式比较简单，不需要log，所以计算速度会更快）