qq_39842017的博客

1.集成学习概念 集成学习不是一个单独的机器学习算法，它是通过构建并结合多个同质的“弱学习器”来完成学习任务，从而获得比单个学习器更好的学习效果，实现1+1>2，也就是我们常说的“博采众长”。随着对集成学习不断的深入研究，其广义定义被研究人员接受，对学习期的性质不加以限制，整合多个学习器集合来完成任务，多学习器系统、多专家混合以及基于委员会的学习等多个领域都被纳入到集成学习中，但是目...

集成算法大致分为两类：Boosting（迭代）和Bagging（装袋）。在前面的博客中，有提到，存在强依赖关系、必须串行生成的序列化方法，代表算法是Boosting，不存在强依赖关系、可同时生成的并行化方法，代表算法有Bagging、Random Forest。其中Boosting集成算法的典型代表算法有Adaboost，GBDT（Gradient Boosting Decision Tree），...

算法原理 XGB算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差。当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值。 注：w_q(x)为叶子节点q的分数，f(x)为其中一棵回归...