ID3、C4.5、CART算法

熵度量了事物的不确定性，越不确定的事物，它的熵就越大。
ID3:用信息增益大小来判断当前节点应该用什么特征来构建决策树，
用计算出的信息增益最大的特征来建立决策树的当前节点。

ID3算法有四个主要的不足，
一是不能处理连续特征，
第二个就是用信息增益作为标准容易偏向于取值较多的特征，
最后两个是缺失值处理的问和过拟合问题。

C4.5：信息增益率 = 信息增益和特征熵的比值

CART分类树算法：使用基尼系数来代替信息增益比，基尼系数代表了模型的不纯度，基尼系数越小，
则不纯度越低，特征越好。

ensamble 集成学习
1.bagging 代表是随机森林，数据随机（有放回）、特征随机，每棵树之间的权重不人为控制的话是相同的
2. boosting adaboosting 一棵树的输出作为另外一棵树的输入，有两个权重，一个是被错分的样本在下次训练的时候的比重会大，也就是重点关照那些被错分了的；还有一个权重是没棵树的权重，可以利用错误率通过公示计算
3. gbdt 是boosting的一种工业界用的效果比较好的，实际上是用作回归，每次学习的是预测值与真实值之间的残差
4.xg boost 本质上还是gbdt，效率速度发挥到极致；
a. 使用l1 l2 防止overfitting
b. 对代价函数一阶二阶求导
c.树长全后从底部向上减支，防止算法贪婪