ECCV2020：论文解读《Synthesize then Compare: Detecting Failures and Anomalies for Semantic Segmentation》

最新推荐文章于 2024-10-15 09:19:44 发布

原创

最新推荐文章于 2024-10-15 09:19:44 发布 · 2.4k 阅读

13 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #计算机视觉 #神经网络

文章目录

原文地址

https://arxiv.org/pdf/2003.08440.pdf

论文阅读方法

三遍论文法

初识（Abstract & Introduction & Conclusion）

随着DNN在视觉任务上取得了巨大成功，已经有很多基于深度学习算法的CV应用落地，这也对算法的安全性提出了更高的要求。所以，机器学习系统要能够检测故障(即错误的预测)，并识别可能导致这些故障的异常(即分布失调（out-of-distribution OOD）)。

对于Semantic Segmentation任务来说，故障检测不仅要检测当前的结果是不是错的，还需要检测故障的具体位置；其异常检测（也称为异常分割）与故障检测有关，目的是对给定图像中的异常对象或区域进行分割。本文目的就是建立一个可靠的报警系统来解决语义分割中的故障检测(Fig1(i))和异常分割(Fig1(ii))。
在这里插入图片描述
本文提出了一个统一框架来解决故障检测和异常分割，其包含两个模块：a）Image synthesize module：根据分割结果来重构输入图像(分割的逆过程)；b）Comparison module：比较重构图像与输入图像之间的差异。作者认为：分割结果越好，那么由它生成的图像就越接近于原始图像。比如你错误地把一个人分割成了一个点，那么你重构出来的图像肯定在对应的区域与输入图像差别很大。类似地，如果一个异常物体(没有见过的类别)出现在测试图像中，在分割结果中它可能会被分为之前类别中的任何一类，可以通过重构后的图像与输入图像进行比较，从而发现异常物体。

本文使用semantic-image的条件GAN(cGAN)来建立生成模型，其可以对分割布局空间到图像空间的映射关系进行建模，cGAN由image-label pairs训练。将从分割模型得到的分割结果喂到训练好的cGAN中，生成重构图像。将重构图像与原始输入图像送入comparison module中识别故障/异常，comparison的设计取决于具体任务：对于故障检测，comparison module为孪生网络(Siamese network)，输出Image-level和pixel-level的置信度；对于异常分割，comparison module通过计算中间特征(从语义分割模型提取)的距离来实现。

本文的贡献可总结为以下几点：

本文是第一篇针对语义分割任务来系统地学习故障检测与异常检测；
提出了一个统一框架，使用Semantic-to-Image条件GAN来解决这两个任务；
提取的框架在3个挑战数据集上取得了SOTA的性能。

相知（Body）

2. Related Work

Uncertainty estimation：也称为confidences estimation，可以被直接应用于failure detection。作者介绍了一些不确定性估计的方法，但它们都专注于small image classification任务，如果直接应用于语义分割任务，它们缺乏语义结构和上下文信息。

Segmentation quality assessment：目的是不借助ground-truth，对分割的整体质量进行评估，当模型故障时进行报警。作者同样介绍了一些质量估计方法，但考虑到2D场景复杂性和对象本身存在较大的形状变化，这些方法几乎不适用于自然图像。在本文接下来的内容中，segmentation quality assessment将被称为image-level failure。

OOD detection：检测出测试数据中的OOD样本，但本文所指的OOD detection需要分割出图像中的异常区域(anomaly segmentation)。作者指出，近几年提出的一些anomaly segmentation方法在最新的街景数据集StreetHazards(250类异常样本，6k张高分辨率图像)上还没有baseline(MSP)表现得好。

Generative adversarial networks：我们的工作使用了conditional GAN用于图像转换(pixel-to-pixel translation)，它们执行语义分割的逆过程：由语义mask生成真实图像。由于semantic image synthesis的好坏通常取决于分割模型的性能，因此作者认为可以使用semantic-to-image generator来进行语义分割的故障检测。