点击下方卡片，关注“CVer”公众号
AI/CV重磅干货，第一时间送达
五一最后一天福利！大家快扫码下方二维码，领取CVer知识星球最大优惠券：50元新用户优惠券，7折+20元老用户续费券，抓紧扫码加入！每天分享最优质的AI工作(综述/涨点神器/最新技术)，最强助力你的科研！
转载自：极市平台
导读
清华大学和华中科技大学的研究团队提出一种新型异常检测方法INP-Former，该方法通过从单张测试图像中动态提取内在正常原型（INPs），并利用这些INPs指导图像重建，通过重建误差实现异常检测，展现出卓越的性能和强大的泛化能力，为异常检测领域带来了新的突破。
工业检测和医疗筛查等领域对异常检测技术的需求日益增长，而现有方法通常依赖于将测试图像与训练集中学习到的正常模式进行比较，这在面对外观和位置变化时容易导致对齐问题，影响检测准确性。
为解决这一难题，来自清华大学和华中科技大学的研究团队提出了一种全新的方法 ——INP-Former，它能够从单张测试图像中提取内在正常原型（INPs），并利用这些 INPs 指导图像重建，通过重建误差实现异常检测。这项研究由清华大学精密仪器系的罗威、姚海明、张效天和楼家楠，以及华中科技大学机械科学与工程学院的曹云康、程育奇、沈卫明和余文勇等人共同完成。相关代码已开源，可供研究者进一步探索和应用。
论文标题：Exploring Intrinsic Normal Prototypes within a Single Image for Universal Anomaly Detection
论文地址：https://arxiv.org/pdf/2503.02424
项目地址：https://github.com/luow23
核心创新
从单张图像提取 INPs：INP-Former 通过独特设计的 INP 提取器，从测试图像本身动态提取与异常区域具有相同几何上下文和外观的正常区域作为 INPs，避免了传统方法中因训练集正常模式与测试图像不匹配导致的检测误差。
INP 指导的重建框架：引入 INP 指导解码器，利用 INPs 重建正常模式，有效抑制异常特征的重建，使重建误差成为可靠的异常分数，提升检测精度。
损失函数优化：提出 INP 相干性损失，确保 INPs 准确代表正常特征，避免捕获异常信息；同时引入软挖掘损失，聚焦于难以优化的样本，进一步提升模型性能。
性能表现
INP-Former 在多个数据集上进行了全面实验，展现出卓越性能：
MVTec-AD 数据集：图像级指标达到 99.7/99.9/99.2，像素级指标达到 98.5/71.0/69.7/94.9，显著优于现有方法。
VisA 数据集：图像级指标达到 98.9/99.0/96.6，像素级指标达到 98.9/51.2/54.7/94.4，取得最佳或第二佳成绩。
Real-IAD 数据集：图像级指标达到 90.5/88.1/81.5，像素级指标达到 99.0/47.5/50.3/95.0，刷新了该数据集上的检测记录。
此外，INP-Former 在少样本和单类别异常检测任务中同样表现出色，并展现出一定的零样本检测能力。
组件有效性验证
我们首先验证了INP-Former各个组件的有效性。通过在MVTec-AD和VisA数据集上的实验，我们发现：
INP提取器和INP指导解码器： 引入INP提取器和INP指导解码器后，模型性能显著提升。这是因为INP提取器能够从测试图像中动态提取与异常区域具有相同几何上下文和外观的正常区域作为INPs，为后续的特征重建提供了关键信息。
INP相干性损失（Lc）： Lc的加入进一步提升了模型性能。它确保提取的INPs能够一致地表示正常模式，避免捕获异常信息，为异常特征的抑制奠定了坚实基础。
软挖掘损失（Lsm）：Lsm的引入使模型能够更加关注难以优化的样本，从而进一步提升整体性能。
INPs数量的影响
我们研究了不同数量的INPs（M）对模型性能的影响。实验结果表明，当M超过4时，模型性能趋于稳定。然而，如果M过大，可能会引入异常信息，导致性能略有下降。在我们的研究中，将M设置为6，既能保证性能，又能有效避免异常信息的干扰。
方法优势
泛化能力强：INP-Former 从单张图像中提取 INPs 的能力使其具有强大的泛化能力，能够适应不同类别和场景的异常检测任务。
计算效率高：通过提取简洁的 INPs，INP-Former 有效降低了计算复杂度，适合实际应用中的高效检测需求。
鲁棒性强：在面对复杂背景和多种异常类型时，INP-Former 能够稳定地提取正常模式，提供可靠的检测结果。
未来展望
INP-Former 的提出为异常检测领域开辟了新方向。未来，研究团队计划进一步优化 INP 提取和利用方式，结合更多先验知识和上下文信息，提升模型对复杂异常模式的检测能力，推动异常检测技术在更多领域的广泛应用。
五一最后一天福利！大家快扫码下方二维码，领取CVer知识星球最大优惠券： 50元新用户优惠券 ， 7折+20元老用户续费券 ，抓紧扫码加入！每天分享最优质的AI工作(综述/涨点神器/最新技术)，最强助力你的科研！
何恺明在MIT授课的课件PPT下载
在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！
CVPR 2025 论文和代码下载
在CVer公众号后台回复：CVPR2025，即可下载CVPR 2025论文和代码开源的论文合集ECCV 2024 论文和代码下载
在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集
CV垂直方向和论文投稿交流群成立
扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。 一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！
▲扫码加入星球学习
▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）人数破万！如果你想要了解最新最快最好的CV/DL/AI论文、实战项目、行业前沿、从入门到精通学习教程等资料，一定要扫描下方二维码，加入CVer知识星球！最强助力你的科研和工作！
▲扫码加入星球学习▲点击上方卡片，关注CVer公众号 整理不易，请点赞和在看
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
