Diffusion Model相关论文解析之(七)Removing Anomalies as Noises for Industrial Defect Localization

1、摘要

无监督异常检测旨在训练仅使用无异常图像的模型来检测和定位未见过的异常。以往基于重建的方法受至重建结果不准确的限制。本文提出了一种用生成扩散模型检测和定位异常的去噪模型。我们引入随机噪声来淹没异常像素，并从中间去噪过程中获得逐像素的精确异常分数。与传统的RGB空间分数相比，扩散模型的KL散度是一个更好的异常分数。此外，我们从预训练的深度特征提取器中重建特征作为我们的特征等级分数，以提高定位性能。此外，我们提出了一种梯度去噪处理，以平滑地将异常图像转换为正常图像。在MVTec-AD基准上，我们的去噪模型在精确异常定位和高质量正常图像重建方面优于最先进的基于重建的异常检测方法。

2、创新点

1）用于重建的梯度去噪方法
采用由PaDiM近似的多元高斯分布来描述无异常数据的深层特征。对于重建，使用马氏距离梯度下降对图像进行优化
2）综合了像素级得分和特征级得分的对于多尺度噪声的重建方法
训练扩散模型涉及使用自编码器方法，其中使用MSE损失来预测噪声的尺度。通过基于变分界限的额外训练损失来学习扩散模型自动处理噪声的方差。异常检测的去噪模型利用生成式扩散模型逐渐去噪和重建图像，利用像素级和特征级分数计算异常分数以提高异常检测准确性。异常检测方法在像素空间和特征空间结合的分布方法中考虑了多尺度噪声，提出了渐变去噪方法通过扩散模型去除图像中的异常。

3、主要公式

公式（1）、（2）、（3）：扩散模型的前向和后向扩散过程
公式（4）：预测噪声的尺度的MSE损失函数
公式（5）、（6）、（7）、（8）：采用基于变分界的额外训练损失，通过扩散模型本身自动学习噪声的方差
公式（9）：像素级的得分函数：采用后验分布和估计分布的KL散度作为异常评分。
公式（10）：使用预训练的特征提取器f来提取输入图像的深度特征。对扩散模型进行训练，使其能同时重构无噪声图像和有噪声图像的像素和语义特征，采用均方差函数作为训练损失和异常得分。
公式（11）：测量各种噪声尺度下（也就是不同扩散步长情况下）异常得分，其中系数表示的是像素级的得分函数和特征级的得分函数占比。
公式（12）、（13）：采用由PaDiM近似的多元高斯分布来描述无异常数据的深层特征。对于重建，使用马氏距离梯度下降对图像进行优化

4、主要实现过程

下图展示了综合了像素级得分和特征级得分的的重建方法，红框表示像素级得分，蓝框表示特征级得分。