模型融合-学习笔记

模型融合

是最后的冲刺手段，可以一定程度的提高线上分数

简单加权融合

回归题一般是将不同模型的结果进行加权，多次尝试后找到最优的权重。
分布问题就是投票，按照不同的权重尝试，找到最优结果。
推荐问题的加权融合我是真不会。

stacking/blending

stacking：当初始训练数据学习出若干个基学习器后，将这几个学习器的预测结果作为新的训练集，来学习一个新的学习器。

boosting/bagging

1. bagging为什么能减小方差？
   首先从方差的定义来看，是各预测值与期望预测之差平方的期望，那Bagging输出结果为不同分类器预测结果的平均值/多数表决，也就是这个最终输出结果更接近期望预测，也就意味着方差的减小。

2. bagging为什么不能减小偏差？
   随机采样(数据间具有重叠)+训练的都是同一类模型+最终结果为多数表决或者取平均值，因此，整体模型的偏差近似于各基模型偏差。

3. boosting为什么能