目前最先进的目标检测能用于自动驾驶吗？这群德国人认真地做了个测评！

点击我爱计算机视觉标星，更快获取CVML新技术

---

目标检测是自动驾驶技术的重要内容，确保上路安全，需要能够精准地检测出路面上所有目标。

这不仅要求汽车感知系统在正常的外界环境工作正常，对于极端恶劣的天气，比如下雪天，也能运行正常。

下图是在自动驾驶系统中，环境变化带来的挑战，雨、雪、雾，还有火灾现场。

随着技术的进步，大量目标检测技术被提出，不断涌出的标着state-of-the-art标签的最先进的算法能够抵御复杂的路况吗？

今天arXiv新出的论文Benchmarking Robustness in Object Detection: Autonomous Driving when Winter is Coming，来自德国图宾根大学和马普所的研究人员，模拟了多个不同环境、成像状况等图像被污损的场景，测评了目前最先进的目标检测算法。

以下是作者信息：

结果不出所料，图像被污损后，所有算法的检测精度都大幅下降。

下图是一个例子：

使用Faster R-CNN算法，上图中左子图把一条龙检测为鸟（现实中不会出现龙。。。作者只是举个例子），更糟糕的是，当图像被“下雪”后，竟然两个目标都检测不出了。

这就有点过分了，因为“下雪”后，人眼可是能轻而易举看出画面中的目标的。

鲁棒目标检测基准测试

作者们提出新的目标检测基准测试Robust Detection Benchmark，在现有数据集基础上，制作了三个大型图像被污损后的目标检测数据集：Pascal-C, Coco-C ， Cityscapes-C。

下图为作者在前人启发下模拟的 15 种图像被污损的情形，这15种情况可以分为 noise, blur, digital, weather 4 组，而每一种情况，都模拟出了5个不同的严重等级（由轻微到严重）。

算法评测

作者评估了多个目标检测算法：

Faster R-CNN [Ren et al., 2015], 

Mask R-CNN [He et al.,2017], 

Cascade R-CNN [Cai and Vasconcelos, 2018], 

Cascade Mask R-CNN [Chen et al., 2019a], 

RetinaNet [Lin et al., 2017a],

Hybrid Task Cascade [Chen et al., 2019a]。

其中有2个算法，是上个月才被提出的state-of-the-art，可谓代表目标检测领域的顶尖水平。

文中使用的评价指标不再赘述，我们来看看结果吧。

下图中clean代码原始数据集，corrupted为被污损后的数据集，relative代表精度下降的幅度。

可见，最少下降31.1%，最大下降64.7%！

下图为使用Faster RCNN算法随着污损严重程度变化检测结果实验的折线图，可见精度是一致性的下降。

然后作者使用Faster RCNN在不同骨干网下进行了实验，发现容量更大的骨干网表现出一致性的精度更好。如下图：

神奇的风格迁移

如何提高模型抗图像污损的鲁棒性？

作者实验了使用图像风格化来增广训练数据，使用的风格化方法来自：AdaIN [Huang and Belongie, 2017]（已开源）。

风格化图像示例：

是不是看起来跟现实环境差别很大，不过没关系，我们要的是疗效！

如下表格：

图中combined一行即为将原始数据和风格化后数据放在一起训练的结果。使用Faster RCNN实验。

虽然在污损鲁棒性实验中没能达到原始图像的指标，但风格化后图像加入训练集的检测结果却大大提高了！

这对你有什么启发么？原来图像增广不能完全按照人眼看起来OK为标准，而且风格化还真有效！

开源代码

作者希望该研究能够引起更多人重视，已经开源了代码，欢迎大家提交新的图像污损方法，做更贴近真实场景的测评。

基准测试代码和数据：

https://github.com/bethgelab/robust-detection-benchmark

图像污损代码（感觉很有用，不止用于该任务）：

https://github.com/bethgelab/imagecorruptions

文中用到的图像风格化算法代码：

https://github.com/bethgelab/stylize-datasets

作者基于mmdetection进行算法测试的代码：

https://github.com/bethgelab/mmdetection

论文链接：

https://arxiv.org/pdf/1907.07484v1.pdf

（在公众号对话界面回复“检测鲁棒性”，即可收到论文）

本文为CV君对论文的原创解读，目前只有不到7%的公众号还在努力原创，希望你文末点个“在看”鼓励我。

---

CV细分方向交流群

52CV已经建立多个CV专业交流群，包括：目标跟踪、目标检测、语义分割、姿态估计、人脸识别检测、医学影像处理、超分辨率、神经架构搜索、GAN、强化学习等，扫码添加CV君拉你入群，

（请务必注明相关方向，比如：目标检测）

喜欢在QQ交流的童鞋，可以加52CV官方QQ群：805388940。

（不会时时在线，如果没能及时通过验证还请见谅）

---

长按关注我爱计算机视觉