(1)宽高散点图:在训练尺度设置下,判断模型感受野是否设置合理 [4]。在训练模型前,图片往往要被Resize到给定的训练尺度(或多尺度),那么在绘制散点图前,要先将原标注框Resize到最大的给定尺度下,去绘制它Resize后的标注框宽高分布图。之后选取Backbone模型时,应考虑模型感受野尽量大于多数标注框的长边。(以检测任务为例,对任务数据集进行初步评估时,其中一步是应检查其尺寸分布情况,确保所使用的模型的感受野能够覆盖到我们想要检出的最大目标。)
*1-不同backbone的输入大小不同,经过一系列卷积,最后的输出大小。2-我们的数据集图片经过对应backbone后的输出大小进行反推算到输入端,看一看是否可以覆盖我们数据集中最大目标框大小。
*模型的感受野:https://blog.csdn.net/weixin_43226400/article/details/106440375
(2) 各类下宽高比频次图:是否个别类别存在极端宽高比情况,极端宽高比需要对锚点框相关默认设置(即Anchor Ratio 和 Anchor Scale)进行调整。
(3)模型融合
1. 融合选择:
在知乎上,[17] 提供了关于模型集成的几种选择:
a. 同样的参数,不同的初始化方式。
b. 不同的参数,通过交叉验证,选取最好几组。
c. 同样的参数,不同迭代次数训练下的模型。
d. 不同的模型,线性融合,例如RNN和传统模型。
2. 融合方式:
a. 直接合并: 就是根据验证集的表现,选取不同模型设置下,最好表现的类别结果进行合并,例如有2个不同的模型设置(设置1和2)且预测类别有2个(类别A和B),类别A在模型设置2下表现最好,而类别B在模型设置1下表现最好,那么最后的提交结果应该由模型设置2下的类别A结果和模型设置1下的类别B结果合并组成。优点是该合并比较简单快速,缺点是它要求验证集的真实反应能力强,比如之前宫颈癌细胞检测比赛,数据集很大,验证集表现和线上测试集表现基本一致,它就很适合直接合并模型结果。
b. WBF: 权重框融合Weighted Boxes Fusion也是比较受欢迎的模型集成方法,它将同类下达到某IoU的框们,进行加权平均得到最终的框,权重为各预测框上预测类别的分数。WBF有两种融合思路: 不同backbone的融合和不同结构的模型的融合,据论文(代码已开源 [18])所述这种方法比前者提升更大。在使用中要注意,Soft NMS输出结果要搭配max的置信度融合方法(即在两个模型预测结果中选择其中最大的置信度作为平均融合框的置信度,避免平均融合后的结果不会受冗余低分框影响),而普通NMS输出结果搭配avg融合方式即可。