CutPaste: Self-Supervised Learning for Anomaly Detection and Localization 全文翻译+详细解读

文章速览

截止2021年7月28日，此方法在MVtec AD异常检测数据集上的表现排第三
橘色字体部分都是个人解读部分，红色字体是我认为非常重要的部分

---

论文名：基于自监督学习的图像异常检测和定位方法

网址：CutPaste网址链接

作者：Chun-Liang Li*, Kihyuk Sohn*, Jinsung Yoon, Tomas Pfister Google Cloud AI Research

发表刊物：CVPR

发表时间：2021

相关概念：CutPaste One-Class classification Anomaly Detection

提出方法：CutPaste

---

全文翻译及详细解释

0.摘要Abstract

  论文中提出了一种高性能的图像缺陷异常检测模型，可以不依赖于异常数据来检测未知的异常pattern（即异常缺陷）。框架整体属于 two-stage：首先通过自监督学习方法来学习正常图像的表示，然后基于学习到的图像表示来构建单分类器。CutPaste 技术主要是通过图片剪切然后再粘贴至其它位置来构造负样本。实验部分在 MVTec 数据集中验证了模型对图片缺陷检测的有效性，如果不使用预训练那么可以比当前 baselines 的 AUC 提升 3.1 ，如果基于 ImageNet 进行迁移学习那么 AUC 可以达到 96.6。
说白了其实就是一种只有好品的异常检测方法，框架分为两个阶段，第一阶段就是通过自监督学习方法来学习正常图像的表示，第二阶段是基于学习到的图像表示来构建单分类器，其实从这两句话基本啥信息也获取不到，我第一看的时候也是一头雾水，但是别着急，慢慢把文章全部看完后理解的会深一些。另外Cutpaste其实就是就是从一幅图中cutout（cutout你可以理解成扣取）一个patch（一小块图像）然后paste到好品图中，一开始我也很费解到底是从那些图中扣取，看完后才知道原来就是从已知的正常样品图中扣取。最后巴拉巴拉说了一下AUC多棒等等。

---

1.介绍Introduction

  来自不同视觉应用的许多问题都是关于异常检测的。包括制造行业的缺陷检测。医药图像分析，以及视频监控。不像以前的有监督学习任务，异常检测面对着独特的挑战。首先就是异常数据是极难获取的。其次，正常和异常模式之间的差异通常是细粒度的，因为高分辨率图像中的缺陷区域可能很小而且很细微。由于异常数据比较难以获取，构建异常检测器通常是半监督下进行，或者仅使用正常数据进行一类分类设置。由于异常块的分布是事先未知的。我们训练模型来学习好品中的patterns并在这些模型不能很好地表示测试示例时确定异常。例如，训练到的自动编码器（可以理解成模型）当用于在数据重建误差较高时被用于声明是异常。当概率密度值低于某个阈值时，生成模型会声明异常。（有点类似于生成器和判别器了，gan的思想。）然而，被定义为像素级重建误差或概率密度的聚合的异常分数缺乏捕捉高级语义信息。
  使用高级学习表示的替代方法已显示出更有效的异常检测。例如，深度一类分类器展示了一种有效的端到端训练的由深度神经网络参数化的一类分类器。Deep one-class classification，这篇文章要看一下，也是用于异常检测。另外deep SVDD的方法，论文中比较了另外两种使用深度学习来解决异常检测的方法：Autoencoder和AnoGAN本文提出了一种新的深度异常检测的方法，灵感来源于基于核的单分类问题以及最小体积估计。我们的方法Deep SVDD，训练一个神经网络，然后最小化包含网络中数据特征的超球体积,提取数据分布变化的共同因素。而论文《Deep one-class classification》则属于One-Class Neural Networks这一类。在One-Class Neural Networks这一类中，作者还介绍了另外一篇论文——《anomaly detection using one-class neural networks》，这些都是使用深度神经网络实现的. 主要是看了看文章的引用部分比单分类的SVM强。另一种就是基于重构的方法，自动编码器法。在自监督表示学习中还有一种方法是，预测图像的几何变换，例如旋转，平移，对比度的学习。可以成功的区分正常值和异常值。这些方法大多是都是专注于检测语义异常值，不能检测细粒度异常缺陷。说白了他就是说以前的方法的一些局限性和弊端，对于更精细的缺陷检测的不够好。
  在我们这次的工作中，重点是处理一类缺陷检测问题（所谓的一类检测问题就是异常检测，啥意思呢，就是只有好品，一个类别。而常规的缺陷检测都是二分类或者多分类的，训练集中至少有两个类别。此后不再赘述这个一分类检测问题概念），图像异常检测的一个特例。在高分辨率图像中局部存在各种形式的未知异常模式。我们遵循两阶段框架。我们首先通过解决代理任务就是paste这种事情，来学习自监督表示。然后在学到的表示中构建一个生成的 一类分类器，以将具有异常模式的数据与正常模式区分开来。我们的创新在于为自监督设计一个新颖的代理任务。具体来说，我们在正常训练数据和通过 CutPaste 增强的数据之间制定了代理分类任务，提出的数据增强策略可以剪切图像块并粘贴到图像的随机位置。CutPaste数据增强致力于产生空间不规则性以作为实际缺陷的粗略近似，这些数据是我们之前无法获取到的训练集。（缺陷训练集）。不同尺寸、横纵比，旋转角度的矩形贴片，从而形成各式各样的增强方式。尽管 CutPaste 增强样本（图 2（e））很容易与真实缺陷区分开来，因此可能是真实异常分布的粗略近似，但我们表明通过检测 CutPaste 增强引入的不规则性学习的表示可以很好地概括检测真实缺陷。我们评估了在MVTECAD上的数据集，一个真实的工业质检标准。通过从scratch(依然不是很理解这个scratch的含义，暂且理解成划痕缺陷吧)学习深度表征。图像级的异常检测AUC达到了95.2。比现有的高出3.1。（这里说的是两个，一个是Inverse-transform autoencoder for anomaly detection. arXiv preprint arXiv:1911.10676, 2019。另一个是Patch svdd: Patch-level svdd for anomaly detection and segmentation. arXiv preprint arXiv:2006.16067, 2020 Patch-SVDD）另外，此外，我们通过 ImageNet 预训练模型的迁移学习报告了最先进的 96.6 图像级 AUC。此外，我们解释了如何使用学习的表示来定位高分辨率图像中的缺陷区域。在不使用任何异常数据的情况下 ，一个简单的补丁模型扩展可以实现 96.0 像素级的定位 AUC，这改进了之前的最新技术 [61]（95.7 AUC）。 我们使用不同类型的增强和代理任务进行了广泛的研究，以展示 CutPaste 增强对未知缺陷检测的自监督表示学习的有效性。
下面我们研究一下图1：

这里研究一下Figure1，也就是cutpaste过程。我们的异常检测和定位方法概述。（a）CNN通过 CutPaste（橙色虚线框）这一过程将正常好品图（蓝色）和增强（绿色）数据分布区分开来。这个增强图它从正常数据中切割出一个小的矩形区域（黄色虚线框）并将其粘贴在随机位置。表示是从整个图像或局部pathches中训练的。（b top）图像级表示为异常检测做出整体决策，并用于通过 GradCAM 神经网络输出进行可视化定位缺陷。这是像素级的。Patch级别表示从局部补丁中提取密集特征以生成异常分数图，然后将其最大池化以进行检测或上采样以进行定位。

---

## 2.A Framework for Anomaly Detection 异常检测