梳理 1.Model Ensemble 可以分为三大类:Bagging,Boosting, Stacking. 2.Boosting可以说是一个思想(框架),而Adaboost等算法只是其一个子类,记得ICCV2015有一个结合CNN和Boosting的工作获得了Best Paper Award?: 3.Boosting的 前向分布算法(在每一步求解弱分类器Φ(m)和其参数w(m)的时候不去修改之前已经求好的分类器和参数): 4.不同的objective和最小化其的方法决定了不同种类的Boosting: 5.GBDT其实就是上图中的Gradient Boosting的一个子类(弱分类器为决策树) 决策树 1.决策树的入门介绍参考: 算法杂货铺——分类算法之决策树(Decision tree) 2.决策树的特征选择: 1)信息增益, 2)信息增益比 3.决策树的生成算法:1)ID3算法–根据信息增益; 2)C4.5算法–根据信息增益比; 3)CART(包括回归和分类;二叉树生成) 4.决策树的剪枝:其实就是一个Loss和T(表示决策树结点个数)trade off的过程 5.具体细节参考:《统计学习方法–李航》