无监督异常检测新突破：专家模型 + 教师模型的知识蒸馏

最新推荐文章于 2025-04-17 11:27:21 发布

☞黑心萝卜三条杠☜

最新推荐文章于 2025-04-17 11:27:21 发布

阅读量996

点赞数 29

分类专栏：论文文章标签：论文阅读

本文链接：https://blog.csdn.net/qq_53960242/article/details/145976110

版权

论文专栏收录该内容

8 篇文章

订阅专栏

题目：Unlocking the Potential of Reverse Distillation for Anomaly Detection
论文地址：https://arxiv.org/pdf/2412.07579
代码地址：https://github.com/hito2448/URD
年份：2025年发表于AAAL

背景知识

异常检测是工业质量检测中的关键任务，由于获取异常图像和标注成本高昂，无监督异常检测受到广泛关注。无监督AD仅使用正常图像进行训练，以检测和定位测试图像中的异常。知识蒸馏是无监督AD的常见方法，但学生网络的过度泛化常导致检测失败。逆向蒸馏（Reverse Distillation, RD）通过设计不对称的教师和学生网络来改善这一问题，但仍存在教师编码器无法有效区分正常和异常特征、学生解码器生成异常特征以及缺少跳跃连接导致细节丢失等问题。

研究方法

为了解决RD的局限性，文章提出了RD-E方法，该方法引入了一个专家网络，与教师和学生网络一起训练，以增强教师对异常的敏感性和学生生成正常特征的能力。具体来说：

Expert-Teacher-Student (ET-S) 网络：在原有的教师-学生框架基础上，引入了一个专家网络。专家网络的架构和初始参数与教师网络相同，但在训练过程中保持冻结。教师网络使用单独的优化器，而瓶颈和学生网络共享同一个优化器。
增强教师的异常敏感性：通过使用真实异常掩码指导教师网络的特征提取过程，确保教师网络在正常区域保持高余弦相似度，在异常区域增加教师异常特征与专家正常特征之间的余弦距离。
学生网络的去噪策略：学生网络被训练以重建教师和专家网络的正常特征，无论输入图像是正常还是异常。这通过基于余弦相似度的优化来实现。
引导信息注入（Guided Information Injection, GII）：为了解决细节重建问题，GII模块利用高层特征的相似性作为注意力机制，引导教师的特征信息注入学生网络，从而在不引入异常信息的情况下，增强细节重建。

实验

实验部分，作者在多个基准数据集上验证了RD-E方法的有效性，包括MVTec AD、MPDD和BTAD数据集。实验结果表明：

图像级异常检测：在MVTec AD数据集上，RD-E方法在平均精度（AP）上达到了99.7%，在所有类别中表现最佳。在异常定位方面，像素级AUC达到了99.0%，在RD范式中表现最佳。
像素级异常定位：在MVTec AD数据集上，RD-E方法在像素级AUC、AP和PRO指标上均超越了其他KD基方法。在MPDD和BTAD数据集上，RD-E方法在所有指标上均优于其他RD基方法。
消融研究：通过消融实验，作者证明了RD-E和GII模块的有效性。实验结果表明，同时应用RD-E和GII时，方法在异常定位上表现最佳。此外，引入专家网络和GII模块显著降低了漏检率和误检率。