论文阅读笔记《Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders》

作者介绍

张伟伟，男，西安工程大学电子信息学院，2019级硕士研究生，张宏伟人工智能课题组。
微信公众号：可随时查阅，搜索—张二牛的笔记，内容会分类上传。
研究方向：机器视觉与人工智能。
电子邮件：zhangweiweicpp@163.com

• 课题组CSDN官方账号，欢迎一键三连: https://blog.csdn.net/m0_37758063/article/details/113527955?spm=1001.2014.3001.5501.

《Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders》
代码实现：https://github.com/plutoyuxie/AutoEncoder-SSIM-for-unsupervised-anomaly-detection-
Abastract 卷积自编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是，这个任务是通过基于`对距离对每像素重建误差设定阈值来完成的。然而，当重建包括边缘周围的轻微定位不准确时，这个过程会导致较大的残差。它也未能揭示当强度值保持大致一致时，视觉上已经改变的缺陷区域。 我们表明，这些问题阻止了这些方法应用于复杂的现实世界场景，并且不能通过使用更精细的体系结构（如变分或特征匹配自动编码器）来轻松容易避免。我们建议使用基于结构相似性的感知损失函数，它检查局部图像区域之间的相互依赖关系，同时考虑亮度、对比度和结构信息。
通常使用监督方法，即系统通过训练缺陷样本和无缺陷样本来学习如何分割缺陷区域。然而，它们需要花费大量的精力来注释数据，而且所有可能的缺陷类型都需要事先知道。此外，在一些生产过程中，报废率可能太小，无法产生足够数量的缺陷样本用于训练，特别是对于渴望数据的深度学习模型，AE和GAN （ ）
Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza,
Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron
Courville, and Yoshua Bengio. Generative Adversarial
Nets. In Advances in Neural Information Processing
Systems, pages 2672–2680, 2014
这些模型试图在存在瓶颈等某些约束的情况下重建它们的输入，从而设法捕捉高维数据（例如图像）在较低维空间中的本质

假设测试数据中的异常偏离训练数据流形，模型无法再现它们。 因此，较大的重建误差表明存在缺陷。 通常，所使用的误差度量是每像素p距离，这是为了简单和速度而作出的一种临时选择。 然而，这些措施在重建只是稍微不准确的地方产生了高残留量。通常，所使用的误差度量是每像素`p距离，这是为了简单和速度而作出的一种临时选择。 然而，这些措施在重建只是稍微不准确的位置产生高残差，例如，由于边缘的小定位不精确。 当各自像素的颜色值大致一致时，它们也无法检测输入和重建图像之间的结构差异。 我们表明，这限制了这种方法在复杂的现实世界场景中的有用性。

检测偏离训练数据的异常一直是机器学习中一个长期存在的问题，Marco AF Pimentel, David A Clifton, Lei Clifton, and
Lionel Tarassenko. A review of novelty detection.
Signal Processing, 99:215–249, 2014.
在计算机视觉中，需要区分这个任务的两个变体。 首先，有分类场景，新的样本显示为完全不同的对象类，应该作为异常值预测。 第二，有一种情况，异常表现在与其他已知结构的细微偏差中，并且需要对这些偏差进行分割。对于分类的方法Pramuditha Perera and Vishal M Patel. Learning Deep
Features for One-Class Classification. arXiv preprint
arXiv:1801.05365, 2018.
Sanjeev Satheesh, Sean Ma, Zhiheng Huang, Andrej
Karpathy, Aditya Khosla, Michael Bernstein, et al.
ImageNet Large Scale Visual Recognition Challenge.
International Journal of Computer Vision, 115(3):211–
252, 2015.
然而，GANs容易陷入模式崩溃，即不能保证非缺陷图像分布的所有模式都被模型捕获。 此外，它们比自动编码器更难训练，因为对抗性训练的损失函数通常不能训练到收敛(Arjovsky和Bottou，2017)。
Martin Arjovsky and L´eon Bottou. Towards Principled
Methods for Training Generative Adversarial Networks.
International Conference on Learning Representations,
2017.
2018. 相反，训练结果必须在定期优化间隔后手动判断。
在Christoph Baur, Benedikt Wiestler, Shadi Albarqouni, and
Nassir Navab. Deep Autoencoding Models for Unsupervised Anomaly Segmentation in Brain MR Images.
arXiv preprint arXiv:1804.04488, 2018.提出了一个使用自编码架构的缺陷分割框架和一个基于`1距离的过像素误差度量。
其他的研究理论：变分自编码器Diederik P Kingma and Max Welling. Auto-Encoding
Variational Bayes. International Conference on Learning Representations, 2014.
Soukup和Pinetz（2018）Mohammad Sabokrou, Mohammad Khalooei, Mahmood
Fathy, and Ehsan Adeli. Adversarially Learned OneClass Classifier for Novelty Detection. In Proceedings
of the IEEE Conference on Computer Vision and Pattern Recognition, pages 3379–3388, 2018
完全忽略了解码器的输出，而是将KL散度作为先验分布和编码器分布之间的一种新颖度量。 这是基于这样的假设，即有缺陷的输入将以均值和方差值表现出来，这些值与先前的值有很大的不同
所有上述使用自动编码器进行无监督缺陷分割的工作已经表明，自动编码器可靠地重建无缺陷图像，同时在视觉上改变缺陷区域，以保持重建接近训练数据的学习流形然而，它们依赖于每个像素损失函数，使相邻像素值相互独立是不现实的SSIM的提出者Zhou Wang, Alan C Bovik, Hamid R Sheikh, and Eero P
Simoncelli. Image quality assessment: from error visibility to structural similarity. IEEE transactions on
image processing, 13(4):600–612, 2004.

e. Ridgeway et al. (2015)
show that SSIM and the closely related multi-scale version
MS-SSIM (Wang et al., 2003) can be used as differentiable loss functions to generate more realistic images
in deep architectures for tasks such as superresolution
表明可用作可微损失函数，用于在深层结构中为超分辨率等任务生成更真实的图像，但不检查其对缺陷分割的有用性。
自编码器的理论：

3.2 VAE

确定性自动编码器框架存在各种扩展。 VAEs(Kingma和Welling，2014)对潜在变量施加约束，使其遵循一定的分布z∼P(Z)。 为了简单起见，通常选择分布为单位方差高斯。 这将整个框架转化为一个概率模型，该模型能够进行有效的后验推理，并允许通过从潜在分布中采样从训练流形生成新数据。 通过编码输入图像得到的近似后验分布Q(z|x)可以用来定义进一步的异常度量。 一种选择是计算两种分布之间的距离，如KL-散度KL(Q(z|x)||P(Z))，并指出与先前P(Z)的大偏差的缺陷(Soukup和Pinetz，2018)。 然而，为了使用这种方法对异常进行像素精确的分割，必须对输入图像的每个像素执行单独的前向传递。第二种利用后部手术的方法（它的原文）

结果：

*
此外，它检测到的缺陷表现为结构的变化，而不是像素强度的大差异。 对于在这个特定的玩具示例中添加的缺陷，对比函数产生最大的残差。
*

In contrast to the `2
-error map, SSIM gives more importance to the visually more
salient disturbances than to the slight inaccuracies around reconstructed edges.

3.1.2 Feature Matching Autoencoder.

Alexey Dosovitskiy and Thomas Brox. Generating Images
with Perceptual Similarity Metrics based on Deep Networks. In Advances in Neural Information Processing
Systems, pages 658–666, 2016。

因此，它们无法检测输入和重建之间的结构差异。 通过调整损失和评估函数来捕获图像区域之间的局部相互依赖关系，我们能够大大改进上述所有体系结构。 在第3.2节中，我们具体地激励使用结构相似性度量SSIM(x，ˆx)作为自动编码器的损失函数和评估度量，以获得残差映射RSSIM。

3.2 SSIM

由于SSIM是可微的，因此它可以作为使用梯度下降进行优化的深度学习架构中的损失函数使用。

4.1 训练过程

The
resulting residual maps are thresholded to obtain candidate
regions where a defect might be present.

4.2 定性分析

计算ROC曲线作为评价指标，真正的阳性率被定义为整个数据集被正确归类为缺陷的像素的比率。 假阳性率是误分类为缺陷的像素之比。AUC的值
We further tested the sensitivity of the SSIM autoencoder to different hyperparameter settings

Paolo Napoletano, Flavio Piccoli, and Raimondo Schettini. Anomaly Detection in Nanofibrous Materials by
CNN-Based Self-Similarity. Sensors, 18(1):209, 2018.
Figure 8 depicts qualitative advantages that employing
a perceptual error metric has over per-pixel distances such
as `2