DataWhale-CV-task05 模型集成

1 集成学习方法

在机器学习中的集成学习可以在一定程度上提高预测精度。常见的集成学习方法有Stacking, Bagging和Boosting,同时这些集成学习方法与具体验证集集划分联系紧密。
由于深度学习模型一般需要较长的训练周期，如果硬件设备不好，就可以用留出法，如果需要追求进度可以使用交叉验证的方法。

2 深度学习中的集成学习

2.1 Dropout

Dropout的工作原理就是在每次训练过程中，随机让一些结点停止工作，在预测过程中，让所有结点都起作用。也就是说：训练过程中，随机让一些结点停止工作，但是在预测的过程中所有的结点都会起作用。

2.2 TTA(Test Time Augmentation)

TTA(测试集训练数据扩增）也是一种常用的集成学习技巧，数据扩增不仅可以在训练阶段用，也可以在预测阶段使用。
做法就是：对一个样本预测三次，然后对三次结果进行平均。

2.3 Snapshot

在论文Snapshot Ensembles中，作者提出使用cyclical learning rate进行训练模型，并保存精度计较好的一些checkout，最后将多个checkout进行模型集成。

由于在cyclical learning rate中学习率的变换有周期性变大和减少的行为，因此CNN模型很有可能在跳出局部最优解进入另一个局部最后。