期刊：
作者：Jaehyeok Bae
框架：
评价：未提供代码，对实验在各个数据集细节操作的描述不清晰，是利用数据集来建立正态特征分布模型，结论部分说实话好像没有总结很到位。
术语：normal distribution 正态分布、mimick 模仿、coreset 核心集、concatenated 串联、aforementioned 上述的、ablation study消融研究、nearest neighbor search 近邻搜索、resolution block 分辨率块
创新点：分情况利用位置和领域信息来进行异常处理
目录
3.2 Modeling Normal Feature Distribution 建立正态特征分布模型
基于位置和邻域信息的图像异常检测与定位
Abstract
为利用位置和邻域信息对正常特征分布的作用，本文中，正态分布是用给定邻域特征的条件概率来估计的，是用多层感知器网络建模的。位置信息可以通过建立每个位置的代表性特征的直方图来使用。现有的方法只是简单地将异常地图的大小调整为输入图像的分辨率，而拟议的方法使用了一个额外的细化网络，该网络由合成的异常图像训练而成，考虑到输入图像的形状和边缘，可以更好地进行内插。
对于流行的工业数据集MVTec AD基准，结果显示在异常检测和定位方面有99.52%和98.91%的AUROC得分，是最先进的性能。
Q：什么是非参数建模？
1 Introduction
异常检测方法使得只使用正常样本建立一个监督模型成为可能，通常是对正常特征进行编码和统计建模。
异常定位：对输入图像中每个像素的异常性进行量化。能找到异常的位置和模型的解释。
Q：异常定位和模型的解释有啥联系？
叠加在异常地图上的等值线来自优化异常定位的F1分数的阈值
分类方法一：基于分布。其中生成模型如自动编码器和GAN被训练来学习名义统计分布。在推断时，测试图像从训练的正态分布中重建，以遵循正常图像中的类似分布。
分类方法二：基于流。训练诺玛尔化流模型来学习编码的正常特征的分布。CFLOW-AD采用位置编码，根据特征的位置建立条件分布模型，但在物体类型图像中的效果并没有得到明确的证明。
为克服学习表征的困难，最近提出的许多方法是采用了预先训练的网络。如ImageNet训练的ResNet，是从一个超大尺寸的数据集中集中学习的低层次的图像特征。
PatchCore从提取的正常特征中抽出有代表性的特征，即coreset，并将其存储在一个记忆库中，这是对名义特征的非参数化建模。对于来自测试图像的特征，通过测量与存储的coreset特征最近的元素的距离，或来自训练图像的正常特征的估计分布，来计算异常得分。在这个过程中，特征的支持区域，或斑块大小，是一个重要的超参数。太大的斑块会忽略小的异常区域，如划痕，太小的斑块不能捕捉大的结构畸变或语义变化。把所有的正常特征放在一个记忆库中，位置和相邻的信息就会消失，不能用来建立它们之间的复杂关系。
本文中，为解决问题，我们一简单有效的方式利用了位置和邻域信息。
具体而言：即通过训练图像的宏观特征进行抽样，产生具有代表性的规范特征集，称为核心集。
在编码特征维度的每个位置，核心集特征的概率分布是通过从训练图像的所有特征中建立直方图来模拟的。
同时，以相邻特征为条件的正常特征的概率分布由MLP（多层感知）网络建模，该网络由相邻特征串联而成，并估计每个核心集特征的可能性。通过这个过程，MLP网络观察到一个大的支持区域，但特征仍然是局部的，这使得上述的补丁大小问题得到解决。这两个分布被结合起来，在测试时估计输入图像及其像素的可能性和得分。
消融研究表明：两种位置和邻域信息对提高性能都是有用的。
Q：什么是消融研究？
基于表征的方法：在描绘详细的异常图方面也存在局限性。是因为：来自预训练模型的局部特征是补丁级的，包含小面积的像素。补丁级的异常图：会被重塑以计算像素级的异常图，导致会错过像素级的细节。我们使用来自正常训练数据集的合成异常图像来训练一个额外的改进网络。细化网络：训练图像中的随机形状和大小的斑块会被其他图像中的斑块取代，前面的那些斑块代表异常区域。
通过合成图像和使用上述位置和邻域信息生成的异常地图，改进网络学会了如何修改异常地图，使其看起来像地面实况掩码。
Q：什么叫做是补丁级的？A1：即包含小面积像素的局部特征块
什么又是像素级的尾巴？
合成异常图像是正常图像的异常整合还是目的性的合成带异常的图像？
改进网络？
主要贡献：
- 展示了在异常检测和定位中使用来自位置和邻域信息的条件正态特征分布的有效性
- 对位置和邻域信息的影响进行了消融研究
- 验证了从协同数据集训练改进网络可以提高性能。
2 Related work
PatchCore具有典型的基于表示法的结构，在异常检测和定位方面表现出突出的性能。
PatchCore从正常的训练数据中聚集整个局部斑块特征，通过贪婪的核心集子采样将它们分成一个有代表性的子集。测试时，通过核心集的近邻搜索来计算测试图像中每个补丁特征的像素级异常得分。测试斑块特征的最大值计算出测试图像的异常得分。使用了典型用预先训练好的网络和非参数化的正态特征分布建模来制作补丁特征。本节将解释PatchCore和我们方法的共同部分。
训练图像会被转换为一组局部斑块级特征。
所有训练图像中的斑块级特征Φi被收集到一个存储库M中。存储库中的特征通过迭代贪婪近似算法[24]进行子采样，从而得到核心集C。这个过程减少了推理时间内处理的特征数量，使推理在实际时间内进行。同时，子采样可以去除异常值，使模型更具有通用性。
- 像素级的异常得分是由Φt(h, w)和核心集C之间的最近邻距离计算的，记为d(h, w)。
- 图像级别的异常得分被计算为图像中所有像素级别异常得分d(h, w)的最大值。
Q：迭代贪婪近似算法？
子采样？
在局部特征被收集到存储库后，位置和邻域信息不会被使用。本文提出了一种包含位置和邻域信息的算法。在实验中，我们证明了这种方法可以正确地确定只用局部信息计算出来的测试特征的异常性。
3 Method
像素级特征Φi(x)为正态的概率为p(Φi(x))，S(x)为异常分数的重新定位- Φi(x)的异常得分取决于邻域特征和整个图像xi中的特征位置。S(x)为Φi(x)的异常得分，把位置和邻域信息记为Ω时：
- 推断时，用相应的Ω和训练好的正态特征分布来计算
- 由于特征得分图的分辨率（h,w）与原始输入分辨率（H,W）不同，因此通过双线性插值重新确定其大小，并通过σ=8的高斯核进行平滑处理，生成自然异常图。参数σ没有进行深入的优化。最后，采用像素细化步骤，使调整后的得分图更符合输入图像的边缘、纹理和形状。
3.2 Modeling Normal Feature Distribution 建立正态特征分布模型
我们提出的使用位置和邻域信息的方法概述。在训练时，使用ImageNet预训练的模型φ将正常样本转换为特征图Φi。使用贪婪的子采样方法对聚集的斑块级特征进行子采样以生成嵌入核心集Cemb和分布核心集Cdist。在存储核心集后，用MLP和直方图分别训练给出邻域和位置信息的正常特征分布。在推理时，使用训练好的正常特征模型对局部测试特征的异常得分进行评估。最后，考虑到输入图像，进行细化步骤以改进异常图。
分布式核心集的大小不能太大，因为训练效率会降低。
像素细化网络的结构示意图
4 实验设置
实验是在流行的工业数据集MVTec AD、BTAD上进行的。BTAD也是企业异常检测数据集，有3个子类别，共有2,830张真实世界的图像，其中1,800张用于训练。所有数据集的图像都被调整了大小，并进行了中心裁剪以消除可忽略的图像边界像素。在MVTec AD中，图像的大小被调整为512×512，中心剪裁为480×480。在BTAD中，图像被调整为256×256，中心裁剪为224×224，因为与MVTec AD相比，BTAD的图像不包含微小的细节。
评价指标
通过接收者操作曲线下的面积（AUROC）来评估模型的性能。为了评估图像异常检测性能，AUROC得分是由每个测试图像和各自的地面实况的单一异常得分测得的。此外，为了评估像素级的异常定位性能，AUROC得分是用像素级的异常图和相关的地面实况图来测量的。
参数设置
在生成局部斑块级特征时，像素级特征被扩展为与斑块大小为5的邻域特征相集合，进行平均汇集，输出一个尺寸为d=1024的纯特征向量。
产生嵌入核心集的子采样百分比为1%。
用于正常特征分配的MLP网络由10个全连接层组成，每层包括2048个神经元。我们使用Adam优化器对MLP网络进行了15个epochs的训练，学习率为10-3，批次大小为2048。我们使用Adam优化器对细化网络进行3个历时的训练，学习率为10-4，批次大小为8。在推理中，我们将精炼的A～与Aˆ以10%的比例进行融合，得到最终的异常图。
BTAD上的异常定位
在BTAD上，我们将异常定位结果与VT-ADL和FastFlow进行比较。为了进行公平的比较，我们使用了我们所提出的单一模型，没有进行细化。
5 结论
新的异常检测和定位方法被预先发送，它使用位置和邻域信息来精确估计正常特征的分布。作为一个条件概率，位置信息用来自正常训练图像特征的累积直方图进行建模。同样，给定邻域信息的正态特征分布是用MLP网络建模的。此外，还提出了使用合成的异常图像的细化算法，以根据输入图像改进异常地图，这是作者所知的异常检测和定位问题中的第一个细化方法。通过各种实验，显示了所提方法的总体性能和有效性。
2815
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
