Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming 论文笔记

Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming

论文链接: https://arxiv.org/abs/1907.07484

一、 Problem Statement

几种类型的失真来增强训练数据，并不是实现对以前未知的失真的鲁棒性的解决方案。最近的研究表明，CNN对新的失真类型的泛化能力较差，尽管CNN接受了各种其他失真的训练。本文 关注不太极端但更常见的可感知图像失真问题，如模糊图像、噪声或雪等自然失真。

如果我们能够建立对每一种可能的图像失真都具有鲁棒性的模型，那么天气变化将不会成为问题。

二、 Direction

一种简单的数据增强技术，将训练图像样式化，从而使得模型在失真类型、严重程度和数据集之间大大提高鲁棒性。

三、 Method

1. 失真类型

提供了15种失真类型:

其次，作者也认为对于图像分类，Style transfer能极大地提高图像的鲁棒性。

2. Experiments

通过实验，作者得出以下结论:

1. Image corruptions reduce model performance
   图像失真，确实会降低模型的性能。
   

2. Robustness increases with backbone capacity
   根据上图得出，如果模型的backbone容量大，可以在失真的情况下，有相对好的性能。 如果主要的backbone已经受到足够的损害，则更好的head结构也无法提取更多信息。

3. Training on stylized data improves robustness
   将stylized data和干净数据相结合似乎可以实现两个方面的最佳效果：干净数据的高性能以及在损坏情况下的性能显著提高。
   

4. Training directly on stylized data is better than using stylized data only during pre-training

5. Robustness to natural distortions is connected to synthetic corruption robustness
   作者发现这些天气变化对所有三种模型的性能几乎没有影响，但联合训练提高了对“雨”和“雪”图像的泛化能力；根据白天拍摄的图像训练的模型在夜间的表现要差得多，但联合训练可以提高夜间的表现。
   

6. Performance degradation does not simply scale with perturbation size

四、 Conclusion

自动驾驶的数据增强办法，提高模型的鲁棒性。

Reference