CV之街景字符编码识别五----pytorch之模型集成

一、集成学习
bagging:
基本流程：
Bagging的基本流程：

• 经过 M 轮自助采样，可以得到 M 个包含 N 个训练样本的采样集。
• 然后基于每个采样集训练出一个基学习器。
• 最后将这 M 个基学习器进行组合，得到集成模型。

在使用 Bagging学习器进行预测时：

分类任务采取简单投票法，取每个基学习器的预测类别的众数。
回归任务使用简单平均法，取每个基学习器的预测值的平均。

参考链接：https://www.jianshu.com/p/4ef2ddf3d615

Boosting 就是一族可以将弱学习器提升为强学习器的算法：

• 先从初始训练集训练出一个基学习器。
• 再根据基学习器的表现对训练样本分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注。
• 然后基于调整后的样本分布来训练下一个基学习器。
• 如此重复，直到基学习器数量达到事先指定的值M 。
• 最终将这M个基学习器进行加权组合。
  

深度学习中的集成学习技巧：
1.dropout