CV实践--语义分割6

集成学习方法

• 在机器学习中的集成学习可以在一定程度上提高预测精度，常见的集成学习方法有 Stacking、Bagging和 Boosting，同时这些集成学习方法与具体验证集划分联系紧密。
  
  那么在 10 个 CNN 模型可以使用如下方式进行集成：

1. 对预测的结果的概率值进行平均，然后解码为具体字符；
2. 对预测的字符进行投票，得到最终字符。

深度学习中的集成学习

1. Dropout
   在每个训练批次中，通过随机让一部分的节点停止工作。同时在预测的过程中让所有的节点都起作用。
   可以有效的缓解模型过拟合的情况，也可以在预测时增加模型的精度。

2. TTA
   测试集数据扩增（Test Time Augmentation，简称 TTA），数据扩增不仅可以在训练时候用，而且可以同样在预测时候进行数据扩增，对同一个样本预测三次，然后对三次结果进行平均。
   

3. Snapshot
   在论文 Snapshot Ensembles 中，作者提出使用 cyclical learning rate 进行训练模型，并保存精度比较好的一些 checkopint，最后将多个 checkpoint 进行模型集成。