DataWhale_CV_task5_模型集成

自己的结果惨不忍睹，这里记录下学习安大佬直播的笔记吧。

1. 训练集和测试集的resize尺寸不同导致结果不理想，这个彩蛋产生的原因是因为前面的池化层，虽然模型都能训练，但是图片的实际含义却发生了变化。
2. 通过观察训练集和测试机的loss，可以分析学习率是否合适，何时衰减学习率，还可以判断是否过拟合。
3. 模型不是越大越好，一些小的数据增强手段有时候就可以有很好的效果，分析问题注意控制变量。
4. 读源码，多实践，多看paper。
5. 高star的项目指路，由浅入深

模型集成

模型集成通常是指将多个模型结合起来得到结果，方法通常分为3种

1. bagging，该方法通常考虑的是同质弱学习器，相互独立地并行学习这些弱学习器，并按照某种确定性的平均过程将它们组合起来。
2. boosting，该方法通常考虑的也是同质弱学习器。它以一种高度自适应的方法顺序地学习这些弱学习器（每个基础模型都依赖于前面的模型），并按照某种确定性的策略将它们组合起来。
3. stacking，该方法通常考虑的是异质弱学习器，并行地学习它们，并通过训练一个「元模型」将它们组合起来，根据不同弱模型的预测结果输出一个最终的预测结果。
   此处附一个机器之心的传送门
   主要介绍的还是bagging和boosting的理论，个人觉得主要区别是前者更像是并行的，后者更像是递进式的。直播时介绍的k折时进行模型集成的方法看起来更像bagging