机器学习 决策树 集成学习小结

机器学习 决策树 集成学习 小结

        最近想把决策树，adaboost，gbdt，xgboost，lightgbm等相关东西整理下，整理成自己的框架，方便记忆，重点在架构。

1. 决策树

        什么是决策树，可以简单理解为做决策的过程，比如你买一件衣服，可能会考虑价格、面料、款式、颜色等几个方面，这些考虑的因素就是决策树的特征，最终你决定是买还是不买，而你先考虑哪些颜色，比如价格> 面料 > 款式 > 颜色，就是决策树需要学习的。

     决策树一般包含三个构成，特征选择、树的构造、树的剪枝。从若干决策树中选取最优的决策树，是一个NP完全问题。

     常用的决策树算法有，ID3 最大信息增益 、C4.5最大信息增益比、CART最大基尼指数。

     1.1 ID3 最大信息增益：（pi * log pi）

      gain = H(D) 原数据集的信息熵  -  H(D / A ) 根据某个属性划分的新数据集的信息熵的和， 选择信息增益gain最大的那个属性

     1.2 C4.5 最大信息增益比:

      gain rate =  gain/属性的取值熵， ID3的改进版。

      属性取值熵是指这个属性有k种类别，每张类别出现的概率是1/k，代入信息熵公式，求出该属性的取值熵。ID3倾向于优先选择类别多的属性，引入属性取值熵就是对类别比较多的属性增加惩罚。

     1.3 CART最大基尼指数 （pi * pi）

      和上述两种方式不一样ÿ