一、学习内容
模型集成
1.集成学习方法
常见的方法包括stacking、bagging、boosting三类,与验证集的划分有关。
比如10折交叉验证。
2.深度学习中的集成方法
a.dropout
一般放在relu之后,用于缓解过拟合,目前已不常用
b.测试集数据扩增(TTA)
Test Time Augmentation(TTA):在测试时,进行数据扩增,比如对同一个样本预测3次,然后对3次结果进行平均。
c.snapshot
使用cyclinical learning rate进行训练,并保存精度比较好的多个checkpoint,最后将多个checkpoint进行集成。
3.后处理
后处理有时候能够帮助提升精度,本赛题的2种思路:
1.统计图片中每个位置字符出现的概率,利用规则修正结果
2.单独训练一个字符长度预测模型,预测图片中的字符个数,并修正结果。
二、小结
模型集成可以提高精度,但耗费很多训练时间,所以,先应该提高单模型精度。
通过本次学习,学到了很多有用的技巧,感谢datawhale组织!