文章介绍了一种新的多类别无监督异常检测方法——MambaAD，该方法利用了Mamba解码器的优势，特别是其出色的长距离建模能力和线性计算效率。MambaAD包含了一个预训练的编码器和一个多尺度的Mamba解码器，后者集成了局部增强状态空间（LSS）模块，能够有效捕捉远距离和局部信息。LSS模块由并行级联的混合状态空间（HSS）块和多核卷积操作组成，而HSS块则采用混合扫描（HS）编码器来加强全局连接，并利用Hilbert扫描和八个方向显著提高了特征序列的建模能力。实验结果显示，MambaAD在多种异常检测数据集上取得了最先进的性能。
1 CNN和Transformer方法存在的问题
（1）CNN的问题:
n长距离依赖性: CNN擅长捕捉图像中的局部特征，但在处理长距离依赖性方面存在困难。这意味着对于需要跨较大区域的信息整合的任务，CNN可能无法提供最佳解决方案。
n缺乏全局信息: CNN通常侧重于局部上下文，这使得它们难以有效地建模整个输入数据的全局结构。
（2）Transformer的问题:
n计算复杂度: Transformer虽然在建模长距离依赖性方面表现出色，但由于其自注意力机制，计算复杂度较高，通常是O(n^2)，其中n是序列长度。这对于处理高分辨率图像或长序列数据来说是一个挑战。
n高内存需求: 高计算复杂度同时也意味着Transformer需要更多的内存资源来进行训练和推理。
2 状态空间模型
状态空间模型（State Space Models, SSMs）是一类广泛应用于序列建模的技术，尤其适用于处理时间序列数据。这类模型最初源自控制理论领域，但近年来由于其在处理长序列数据时展现出的高效性而在机器学习和深度学习领域受到了极大关注。状态空间模型通过一系列状态的演变来表示系统的动态行为，这些状态通常是隐含的，即不可直接观测，但可以通过观测值间接推断出来。模型通过定义状态之间的转移以及如何从这些状态生成观测值来描述系统。下面两个方程分别对应的是SSMs的连续过程和离散过程，将状态空间模型从连续过程转换为离散过程是控制理论和信号处理中的一个常见任务，因为数字计算机和微控制器通常只能处理离散时间信号。
状态空间模型的优点在于它们能够处理长距离依赖性，这使得它们非常适合处理序列数据；它们具有线性时间复杂度，因此相比其他模型（如传统的递归神经网络 RNNs 和 Transformer）更为高效；并且它们能够以最小的历史信息形式描述系统的状态，减少了对大量历史数据的需求。综上所述，状态空间模型在处理时间序列和序列建模问题时展现出了强大的能力，并且随着研究的进步，它们的应用范围也在不断扩大。
3 MambaAD框架
MambaAD由三个主要部分构成：预训练的CNN编码器、Half-FPN瓶颈层和Mamba解码器。在训练过程中，编码器提取不同尺度的特征图，然后将这些特征输入到Half-FPN瓶颈层进行融合，融合后的特征再被送入Mamba解码器进行进一步处理。其中Mamba中的LSS模块结合了Mamba的全局建模能力和CNN的局部建模能力。
Mamba解码器：
n深度配置：Mamba解码器具有特定的深度配置[3,4,6,3]。
nLSS模块：解码器内部引入了Locality-Enhanced State Space (LSS)模块，该模块由级联的Hybrid State Space (HSS)块和多核卷积操作组成。
nHSS块：HSS块利用Hybrid Scanning (HS)编码器和解码器对特征图进行编码和解码，支持五种扫描方法和八个扫描方向，以增强全局连接。
n多核卷积：LSS模块还包含平行的多核卷积操作，用于补充和增强局部信息。
4 结语
文章介绍了MambaAD，这是一种利用Mamba架构的多类别无监督异常检测方法，通过结合预训练编码器和具有Locality-Enhanced State Space模块的Mamba解码器，在多个数据集上实现了最先进的性能。
论文题目：MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection
论文链接： https://arxiv.org/abs/2404.06564
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
扫一扫
151
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
