Mamba超绝创新！搭上异常检测准确率99%+！一区秒了！

最新推荐文章于 2025-01-14 14:26:24 发布
最新推荐文章于 2025-01-14 14:26:24 发布
阅读量919 收藏 13
点赞数 7
文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_88190197/article/details/143635961
版权

今天给大家推荐一个创新Max，且不卷的idea：基于Mamba做异常检测！

以往的异常检测方法，以基于CNN、Transformer为主。但CNN在处理长距离依赖性方面存在困难，Transformer虽然表现出色，但由于其自注意力机制，计算复杂度较高。而Mamba，则完美弥补了这两者的缺陷，在有效处理长距离依赖性同时，具有线性复杂度，计算资源需求少！在提高模型检测精度和速度方面，一骑绝尘！比如模型ALMRR便在准确率高达99.1％的同时，参数量和计算复杂度大幅降低！

更为重要的是，传统的方法早已卷成红海，Mamba作为近来的新贵，尚在发展期，可挖掘的空间还很广！

为让大家能够紧跟领域前沿，找到更多idea启发，我给大家梳理了多种创新思路，且提供了源码！

论文原文+开源代码需要的同学看文末

论文：MambaAD:Exploring StateSpace Models for Multi-class Unsupervised Anomaly Detection
内容

该论文介绍了MambaAD，这是一个基于Mamba框架的多类别无监督异常检测方法。MambaAD结合了预训练编码器和Mamba解码器，并在多尺度上使用局部增强状态空间（LSS）模块，有效地捕获长程和局部信息，在六个不同的异常检测数据集上达到了最先进的性能，同时保持了较低的模型参数和计算复杂度。

论文：ALMRR: Anomaly Localization Mamba on Industrial Textured Surface with Feature Reconstruction and Refinement
内容

该论文提出了一种名为ALMRR的新型无监督异常检测方法，该方法通过特征重建和细化来定位工业纹理图像中的异常。ALMRR利用Mamba框架进行特征重建，并通过特征细化模块提高异常定位的精确度。在训练阶段，模型通过添加人工模拟的异常来增强对异常的先验知识。

论文：Joint Selective State Space Model and Detrending for Robust Time Series Anomaly Detection
内容

该论文提出了一种基于选择性状态空间模型（S6）和多阶段去趋势机制的时间序列异常检测方法，旨在解决长期依赖建模和非平稳数据泛化问题，以其在捕捉长期依赖关系方面的能力而闻名，而去趋势机制则用于减轻非平稳数据中的显著趋势成分，以提高模型的泛化能力。

论文：End-to-End Learning-Based Study on the Mamba-ECANet Model for Data Security Intrusion Detection
内容

该论文提出了一种基于深度学习的端到端数据安全入侵检测系统，该系统整合了Mamba模型和ECANet模型，并通过端到端学习进行训练和优化。Mamba模型用于初步数据特征提取，而ECANet模型通过注意力机制进一步优化特征选择，增强了模型对重要特征的关注。

 关注下方《人工智能学起来》

回复“MMAD”获取全部论文+开源代码

码字不易，欢迎大家点赞评论收藏

Mamba对时间序列预测有效吗
Hanscal
08-22 1639
文章介绍了Simple-Mamba (S-Mamba)，一种基于Mamba的选择性状态空间模型，该模型通过降低计算复杂度，在保持高性能的同时实现了高效的时间序列预测。论文题目：Is Mamba Effective for Time Series Forecasting?论文链接： https://arxiv.org/abs/2403.11144PS: 欢迎大家扫码关注公众号，我们一起在AI的世界中探索前行，期待共同进步！
NeurIPS 2024 | Mamba杀入异常检测！MambaAD：第一个使用Mamba进行多类无监督异常检测...
阿木寺的博客
10-13 1156
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【Mamba和异常检测】交流群添加微信号：CVer111，小助手会拉你进群！扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！编辑：CVer 微信公众号｜作者：CVer粉丝投稿（来自浙大，腾讯优图，南洋理工大学）论文...
Mamba和异常检测微信群成立！
阿木寺的博客
04-03 226
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！Mamba方向微信技术交流群Mamba 今年太火了！已经成为近期发论文的"新神器"！各种魔改Mamba层出不穷！群里每天讨论最新最前沿的Mamba、SSM技术，还有海量入门知识点交流。如...
Paper Reading: 探索多类无监督异常检测的状态空间模型, MambaAD (NeurIPS 2024)
Transfattyacids的博客
12-31 1174
基于重构的方法，如RD4AD和UniAD，（比基于特征嵌入和合成的方法）表现出优越的性能和更好的可扩展性如图 1 (a) ：基于 CNN 的 RD4AD 有效地捕获本地上下文，但它缺乏建立远程依赖的能力。如图 1 (b)：UniAD是第一个多类 AD 算法，依赖于预训练的编码器和转换器解码器架构。尽管变压器具有优越的全局建模能力，但它受到二次计算复杂度的阻碍，它将UniAD限制在最小特征图上的异常检测，可能会影响其性能。
U-Mamba: Enhancing Long-range Dependency for Biomedical Image Segmentation
okimaru的博客
01-22 5012
卷积神经网络(Convolutional Neural Networks, cnn)和transformer是生物医学图像分割中最流行的架构，但由于固有的局部性或计算复杂性，它们处理远程依赖关系的能力有限。为了解决这一挑战，我们引入了U-Mamba，一个通用的生物医学图像分割网络。受状态空间序列模型(ssm)的启发，我们设计了一个混合CNN-SSM块，它将卷积层的局部特征提取能力与ssm捕获远程依赖的能力相结合。状态空间序列模型是一种以处理长序列的强大能力而闻名的新型深度序列模型。
MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detectionz分析
qq_52291558的博客
10-07 1194
代码和模型可在。
Mamba+目标检测：登Nature子刊新高度！小目标检测性能飞跃，刷新SOTA记录！
m0_73122726的博客
10-11 1489
近期，随着Mamba的横空出世，目标检测领域迎来了诸多崭新进展，尤为瞩目的是在Nature子刊上发表的YOLOv5_mamba，其在小目标检测方面展现出了卓越的性能，达到了业界的顶尖水平。为了方便大家能够更好的掌握这个创新思路，然后运用到自己的文章中，我为大家整理了最新的Mamba+目标检测研究论文！
无痛涨点！CNN+UNet横扫一区！速来抄作业！
Aimoxin111的博客
01-14 808
AI科研灵感致力于成为您在人工智能领域的领航者，定期更新人工智能领域的重大新闻与最新动态，和您一起探索AI的无限可能。立即关注我们，开启您的AI学习之旅！
YOLO引入Mamba系列：创新编码器-解码器结构与VSS块助力目标检测显著提升 2025版
最新发布
05-29
内容概要：本文介绍了YOLO引入Mamba系列的目标检测技术创新。Mamba UNet采用纯基于视觉Mamba（VMamba）的编码器-解码器结构，融合跳跃连接，有效保存多尺度空间信息。VSS块作为核心组件，通过双路径处理增强特征提取...
Mamba+Transformer，可实现超Transformer5倍吞吐量！
2401_88556812的博客
12-10 1918
Mamba-Transformer专家模型：提出了一个多尺度混合Mamba-Transformer专家模型（SST），通过结合Mamba和Local Window Transformer（LWT）来分别处理长时序的全局模式和短时序的局部变化。综合性能提升：在多个领域和任务中，SSMs展现出与Transformer竞争的性能，特别是在语言领域任务中，SSMs在标准回归上下文学习（ICL）任务中表现出色，与Transformer相比，在稀疏奇偶性学习任务中表现更优。
狂发一区的YOLO，和Mamba是绝配！最新研究命中Nature，这泼天的高分思路你要不要！
学姐带你玩AI的博客
11-12 1760
朋友们，Mamba终于也对YOLO出手了！最近有关的新研究真是不少，比如Nature子刊上的YOLOv5_mamba、精度大幅领先YOLOv8的FER-YOLO等等，都是效果非凡，值得一品的好成果。这种结合不仅融合了Mamba在全局信息捕捉上的优势，还保留了YOLO在局部特征提取上的高效性，可以通过互补在多个维度为YOLO系列带来新的性能提升。可以说，，无论是对于目标检测领域的革新，还是单纯发表论文，都是非常好的选择。为了帮同学们抓紧机会，我已经挑选好了。
基于Vmamba改进的目标检测算法，创新点，发论文，持续更新.....
qq_43190806的博客
03-03 4762
基于Vmamba网络结构，在视觉领域的系类应用
MAMBA介绍：一种新的可能超过Transformer的AI架构
热门推荐
weixin_4528312的博客
12-06 3万+
屹立不倒的 Transformer 迎来了一个强劲竞争者。CMU、普林斯顿研究者发布的MAMBA架构，解决了Transformer核心注意力层无法扩展的致命bug，推理速度直接飙升了5倍！一个时代终于要结束了？
MambaAD —— 统一的视觉异常感知框架
加油写代码
05-19 500
MambaAD — 统一的视觉异常感知框架
（2024，MambaOut，Mamba 适合长序列，区分指标，不适合分类，适合检测和分割）视觉真的需要 Mamba 吗？
qq_44681809的博客
05-14 3855
Mamba 非常适合具有长序列和自回归特征的任务。本文提出了一个指标来判别序列是否是长序列本文。它通过堆叠 Mamba 块并移除 SSM，构建了 MambaOut 模型，来验证 Mamba 在分类、检测和分割等视觉任务​中的适用性。
深度学习论文: MambaAD: Exploring State Space Models for Multi-class Unsupervised Anomaly Detection
mingo_敏
11-21 167
以往，基于卷积神经网络（CNN）和Transformer结构的算法在异常检测领域已得到广泛应用，并取得了一定成效。然而，CNN在处理长距离信息关联性方面存在局限，而Transformer则因计算复杂度高达平方级别而受限。近期，基于Mamba的模型凭借其卓越的长距离建模能力和线性计算复杂度，引起了研究界的广泛关注。本文创新性地首次将Mamba模型应用于多类无监督异常检测领域，提出了MambaAD方法。
提高IT运维效率，深度解读京东云AIOps落地实践（异常检测篇）
京东科技开发者
11-01 526
时间序列的异常检测是实际应用中的一个关键问题，尤其是在 IT 行业。我们没有采用传统的基于阈值的方法来实现异常检测，而是通过深度学习提出了一种无阈值方法：基于 LSTM 网络的基线（一个 LSTM 框架辅助几个优化步骤）和无监督检测（神经网络和多种机器学习算法的组合）协同综合分析时间序列。当时间序列显示出清晰的周期性形态的情况下基线表现良好，而无监督检测在效率要求高且周期性不太清晰的情况下表现出色。通过两个并行模块的互补设计，可以在不依赖阈值设定和调整的情况下实现无阈值异常检测。京东云内部实践证明，我们所提
【异常检测-论文阅读】（CVPR 2022）Self-Supervised Predictive Convolutional Attentive Block for Anomaly Detection
小菜鸡的学习记录
08-10 4029
引入了一种新的神经块SSPCAB（Self-Supervised Predictive Convolutional Attentive Block），该神经块由一个掩码卷积层和一个通道注意模块组成，用于预测卷积接受域中的一个掩码区域。
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection）
平平淡淡，戒急用忍，一生学闭嘴。
07-23 512
吴恩达机器学习笔记55-异常检测算法的特征选择（Choosing What Features to Use of Anomaly Detection） 　　对于异常检测算法，使用特征是至关重要的，下面谈谈如何选择特征： 　　异常检测假设特征符合高斯分布，如果数据的分布不是高斯分布，异常检测算法也能够工作，但是最好还是将数据转换成高斯分布，例如使用对数函数：???? = ????????????(
Mamba异常检测
03-26
### Mamba 异常错误处理解决方案 在讨论 Mamba 的异常问题及其解决方案之前，需了解其核心架构特点以及可能引发异常的原因。以下是针对 U-Mamba 和 Mamba-UNet 中可能出现的常见异常问题及其对应的解决策略。 #### 1. 数据预处理阶段的异常 数据预处理是医学图像分割中的重要环节，任何不一致的数据输入可能导致模型训练失败或预测结果不佳。例如，如果输入图像尺寸不符合预期标准，则会触发形状匹配错误。 - **解决方案**: 确保所有输入图像经过标准化处理，统一大小和通道数。可以使用以下代码片段对图像进行调整： ```python import cv2 def preprocess_image(image_path, target_size=(256, 256)): image = cv2.imread(image_path) resized_image = cv2.resize(image, target_size) normalized_image = resized_image / 255.0 # 归一化到 [0, 1] return normalized_image ``` 此过程有助于减少因数据格式不符而引起的运行时错误[^1]。 --- #### 2. 训练过程中梯度爆炸/消失 深度学习模型（尤其是深层结构如 U-Mamba）容易受到梯度不稳定的影响。这通常表现为损失函数值突然增大或减小至零。 - **解决方案**: 采用梯度裁剪技术以稳定优化器的行为；或者尝试降低初始学习率并启用自适应学习率调度机制。具体实现如下所示： ```python from torch.nn.utils import clip_grad_norm_ def train_step(model, optimizer, loss_fn, inputs, targets, max_grad_norm=1.0): model.train() outputs = model(inputs) loss = loss_fn(outputs, targets) optimizer.zero_grad() loss.backward() # 应用梯度裁剪防止爆炸 clip_grad_norm_(model.parameters(), max_grad_norm) optimizer.step() return loss.item() ``` 通过上述方式可有效缓解梯度相关问题[^3]。 --- #### 3. GPU 内存不足导致程序崩溃 当批量大小设置过大或模型参数过多时，GPU 显存可能会耗尽，进而中断训练流程。 - **解决方案**: 逐步缩小批处理规模直至适配硬件资源限制为止；另外也可以考虑混合精度训练方法来节省内存消耗。 ```python # 使用 PyTorch 自带工具开启自动混合精度支持 scaler = torch.cuda.amp.GradScaler() for data in dataloader: with torch.cuda.amp.autocast(): output = model(data['image']) loss = criterion(output, data['label']) scaler.scale(loss).backward() # 缩放后的反向传播 scaler.step(optimizer) # 更新权重前先缩放步长 scaler.update() # 动态更新比例因子 ``` 这种方法不仅提高了效率还增强了鲁棒性[^2]。 --- #### 4. 测试阶段输出质量低下 即使完成正常训练周期之后仍可能存在某些样本被误分类的情况——即所谓的“异常值”。这些情况往往源于复杂的背景干扰或是目标边界模糊不清等因素所致。 - **解决方案**: 利用后处理手段改善最终呈现效果，比如形态学操作填补孔洞、平滑边缘轮廓等措施均能显著提升视觉体验感。 ```python import numpy as np from scipy.ndimage import binary_fill_holes def postprocess_mask(mask_array, threshold=0.5): binarized_mask = (mask_array >= threshold).astype(np.uint8) filled_mask = binary_fill_holes(binarized_mask).astype(np.uint8) return filled_mask ``` 执行此类修正步骤能够帮助消除不必要的噪声影响。 --- ### 总结 综上所述，对于 Mamba 架构下的各种潜在异常状况均有相应的预防与修复对策可供采纳实施。实际应用当中应根据具体情况灵活选用最合适的办法加以应对处置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值