FastFlow: Unsupervised Anomaly Detection and Localization via 2D Normalizing Flows

自学所用

文章提出了用二维归一化流实现的FastFlow,并将其用作概率分布估计;FastFlow可以作为一个插件模块,与任意深度特征提取器(如RestNet和视觉转换器)一起使用,用于无监督的异常检测和定位;在训练阶段,FastFlow学会将输入的视觉特征转化为可处理的分布,并在推理阶段获得识别异常的可能性。

由于异常的概率密度较低,正常和异常数据通常表现出严重的长尾分布,甚至在某些情况下没有异常样本

提出的FastFlow解决了原始的一维归一化流模型破坏了二维图像固有的空间位置关系,限制了流模型的能力,同时推断的复杂性很高,限制了实用价值等问题。FastFlow将原有的归一化流扩展到二维空间,使用全卷积网络作为子网络,它可以保持空间的相对位置,提高异常检测的性能,同时支持整幅图像的端到端判断,将异常检测和定位结果一次性直接输出,提高了推断效率。

滑动窗口法用于像素异常定位是,需要测试大量图像块,计算复杂度高。因此使用FastFlow通过端到端测试阶段获得全局和局部特征分布的可学习建模;视觉转换器可以提供全局感受野,更好地利用全局和局部信息,同时保持不同深度的语义信息;

在训练阶段,使用正态图像进行训练,以二维方式将原始分布转换为标准正态分布;在推理中,我们使用二维特征上的每个位置的概率值作为异常值;

异常检测方法:

现有的异常检测方法可以归纳为基于重构的方法和基于表示的方法;基于重构的方法通常利用自动编码器或者生成对抗网络等生成模型对正常数据进行编码和重构;采用基于表示的方法,从视觉转换器或者resnet中提取视觉特征,通过FastFlow模型建立其分布。

用于异常检测的特征提取器:

使用CNN和VIT的网络来证明该方法的普适性。

方法论:

问题定义和基本方法:

提出FastFlow将从典型骨干网络提取的正态图像的高维视觉特征投影到标准正态分布中。

特征提取器:

通过RESNET或者视觉转换器从输入图片中提取代表特征,只使用某一层的特征;对于resnet,我们直接使用前三个块中最后一层的特征,并将这些特征放入三个对应的FastFlow模型中。

二维流动模型:

二维流:,用通过双射可逆映射将图像特征投影到隐藏变量z

,利用估计图像特征的对数似然:

的双射可逆流模型的雅可比行列式,是二维流动模型的参数。推断中,异常图像的特征应该是非分布的,因此,异常图像的似然比正常图像的似然要低,这种似然可以作为异常评分。具体的,将每个通道的二维概率相加,得到最终的概率图,并使用双线性插值将其上采样到输入图像的分辨率。

流模型是通过将多个可逆转块按以下顺序堆叠而成:

在每个块中使用仿射耦合层:

:是两个神经网络的输出。

:沿通道维度执行分裂和连接操作;在默认子网中采用二维卷积层,保留流模型中的空间信息;采用3×3卷积和1×1卷积交替出现的全卷积网络,在流模型中保留空间信息。

实验:

从推理速度、附加推理时间和附加模型参数等方面对FastFlow等方法进行复杂性分析(附加是指不考虑主干本身);

定量结果:

消融实验:

比较不同骨干网络的子网在AUC和推理速度下交替使用3×3和1×1卷积核和只使用3×3卷积核的情况:

特征可视化和生成:

FastFlow模型是一个双向可逆概率分布变换器,在前向过程中,它将来自主干网络的特征图作为输入,并将其原始分布转换为二维空间中的标准正态分布。在逆过程中,FastFlow的逆过程可以从特定的概率采样变量中生成视觉特征。

通过FastFlow模型转发得到概率图。FastFlow 成功地将原始分布转换为标准正态分布。然后,将噪声干扰添加到该概率图中黄色箭头指示的某个空间区域,并使用逆 Fastflow 模型从污染概率图中生成皮革特征张量。其中在这个特征张量中可视化了一个通道的特征图,可以观察到新的异常出现在对应的污染位置。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MVTec AD数据集是用于异常检测的一个全面的、多目标、多缺陷的数据集,由MVtec公司提出。该数据集模仿了工业实际生产场景,并主要用于无监督异常检测。该数据集包含了5354张高分辨彩色图像,涵盖了70种不同类型的缺陷,例如划痕、凹痕、污染和不同结构变化。此外,该数据集提供了像素级精确的标签,为异常区域提供了准确的标注。 如果您想下载MVTec AD数据集,您可以通过访问MVTec公司的官方网站或联系他们获取相关的下载信息。请注意,可能需要满足一些使用条件和授权要求。因此,建议您直接与MVTec公司联系以获取最准确和最新的下载信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [MVTec AD—A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR](https://blog.csdn.net/weixin_38621214/article/details/120954554)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [【论文复现赛】FastFlow_Paddle](https://blog.csdn.net/m0_63642362/article/details/127207094)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值