探索用于多类无监督异常检测的状态空间模型

文章介绍了一种新的多类别无监督异常检测方法——MambaAD，该方法利用了Mamba解码器的优势，特别是其出色的长距离建模能力和线性计算效率。MambaAD包含了一个预训练的编码器和一个多尺度的Mamba解码器，后者集成了局部增强状态空间（LSS）模块，能够有效捕捉远距离和局部信息。LSS模块由并行级联的混合状态空间（HSS）块和多核卷积操作组成，而HSS块则采用混合扫描（HS）编码器来加强全局连接，并利用Hilbert扫描和八个方向显著提高了特征序列的建模能力。实验结果显示，MambaAD在多种异常检测数据集上取得了最先进的性能。

1 CNN和Transformer方法存在的问题

（1）CNN的问题:

• 长距离依赖性: CNN擅长捕捉图像中的局部特征，但在处理长距离依赖性方面存在困难。这意味着对于需要跨较大区域的信息整合的任务，CNN可能无法提供最佳解决方案。

• 缺乏全局信息: CNN通常侧重于局部上下文，这使得它们难以有效地建模整个输入数据的全局结构。

（2）Transformer的问题:

• 计算复杂度: Transformer虽然在建模长距离依赖性方面表现出色，但由于其自注意力机制，计算复杂度较高，通常是O(n^2)，其中n是序列长度。这对于处理高分辨率图像或长序列数据来说是一个挑战。

• 高内存需求: 高计算复杂度同时也意味着Transformer需要更多的内存资源来进行训练和推理。

2 状态空间模型

状态空间模型（State Space Models, SSMs）是一类广泛应用于序列建模的技术，尤其适用于处