6.随机森林,GBDT,Adaboost

参考链接：https://blog.csdn.net/lyf52010/article/details/79822382

1.随机森林，属于bagging的一种（bagging与boosting的区别见：https://blog.csdn.net/haidixipan/article/details/83105932），即

     1）从样本中有放回的采样

     2) 从特征中随机选取K个

     3）根据1，2步骤产生训练集合，建立二叉树（CART）

     4）重复1，2，3步骤，建立m个二叉树

     5）根据m个二叉树投票产生结果

2.Adaboost（Adaptive Boosting，自适应增强），属于boosting的一种

    1)将每一个样本赋以权值1/N，放到弱分类器去训练（如二叉树），得到分类器模型

    2) 将上一轮分类正确的样本权重降低，错误的权重升高，重复1步骤，继续训练弱分类器，最后得到m个分类器

    3）将正确分类多的分类器权重升高，少的分类器权重降低，再将各个分类器结果乘以各自权重相加，就是adaboost的基本思想

3.GBDT(Gradient Boosting Decision Tree)，属于boosting的一种，同adaboost步骤类似，只是在计算样本和分类器权重的时，adaboost是根据分类的准确率高低计算的，优化的目标是使准确率升高，而GBDT是通过损失函数大小计算的，优化的目标是使损失函数降低，所以用到了梯度下降（Gradient的由来），前者解决的是分类问题，后者解决的是回归问题。