【论文笔记】Student-Teacher Feature Pyramid Matching for Anomaly Detection

原文地址:https://arxiv.org/pdf/2103.04257.pdf
代码可以参考:https://paperswithcode.com/paper/student-teacher-feature-pyramid-matching-for

核心:利用知识蒸馏的方式在MVTec AD数据集上进行异常检测

在这里插入图片描述

  1. 论文中的teacher网络是在ImageNet上预训练的ResNet-18
  2. 而student网络中的参数是随机初始化的
  3. 在训练过程中,使得student逼近teacher
    论文利用两点来进行异常检测:
    (1)因为teacher没有教student学习异常的能力,所以在测试异常样本时,teacher和student提取的特征(embedding)不同
    (2)因为student的参数是随机初始化的,那么训练完成后,不同student之间学到的embedding不同

我也是第一次看知识蒸馏方面的论文,读了源码之后,我发现,在训练时,teacher网络是不动的,改变的是student网络。

我的理解是,这里因为teacher是在ImageNet上预训练过的,所以有一定的提取特征的能力,相对于student肯定是比较优越的,所以这里将teacher作为一个参照物

可以这么理解:

在训练过程中,因为正常样本比较相似,我们可以假设训练的图片都一模一样
那么一开始teacher和student提取的特征有差别,根据loss进行一次更新,student的能力得到了一点提升;然后进行第二次训练,因为又是一张一模一样的图片,那么teacher学到的东西和之前一样,那此时teacher又把同样的知识交给student,student的能力又得到了一点提升。
如此继续,student识别这张图片的能力就接近了teacher,最后student也能够识别正常样本了。
在测试时,如果丢进去异常样本,teacher因为是预训练过的,所以也是有一定的提取能力,(也可以理解为有一定的泛化能力),但是student没有学过这个样本,就可能提取出“四不像”,这样就可以比较student和teacher两者提取特征之间的embedding距离来判断异常了。


参考内容:

  1. https://mp.weixin.qq.com/s/snezeHSNwUsGPFmnXJ5QpA
  2. https://zhuanlan.zhihu.com/p/364914260
  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
### 回答1: 特征金字塔网络(Feature Pyramid Networks, FPN)是一种用于目标检测的神经网络架构。它通过在深层特征图上构建金字塔结构来提高空间分辨率,从而更好地检测小目标。FPN具有高效的多尺度特征表示和鲁棒性,在COCO数据集上取得了很好的表现。 ### 回答2: 特征金字塔网络(Feature Pyramid Networks,简称FPN)是一种用于目标检测的深度学习模型。该模型是由FAIR(Facebook AI Research)在2017年提出的,旨在解决单一尺度特征不能有效检测不同大小目标的问题。 传统的目标检测算法通常采用的是滑动窗口法,即在图像上以不同大小和不同位置进行滑动窗口的检测。但是,这种方法对于不同大小的目标可能需要不同的特征区域来进行检测,而使用单一尺度特征可能会导致对小目标的错误检测或漏检。FPN通过利用图像金字塔和多层特征提取,将不同尺度的特征合并起来,从而达到对不同大小目标的有效检测。 FPN主要分为两个部分:上采样路径(Top-Down Pathway)和下采样路径(Bottom-Up Pathway)。下采样路径主要是通过不同层级的卷积神经网络(CNN)来提取特征,每层都采用了非极大值抑制(Non-Maximum Suppression,NMS)方法来选择最具有代表性的特征。上采样路径则主要是将低层特征进行上采样操作,使其与高层特征的尺寸对齐,并与高层特征相加,实现特征融合。 FPN在目标检测中的优势体现在以下几个方面。首先,FPN可以提高模型对小目标的检测能力,同时仍保持对大目标的检测准确度。其次,FPN的特征金字塔结构可以在一次前向传递中完成目标检测,减少了计算时间。最后,FPN对于输入图像的尺寸和分辨率不敏感,可以在不同分辨率的图像上进行目标检测,从而适应多种应用场景。 总之,FPN是一种在目标检测领域中得到广泛应用的模型,其特征金字塔结构能够有效地解决单一尺度特征不足以检测不同大小目标的问题,并在检测准确率和计算效率方面取得了不错的表现。 ### 回答3: 特征金字塔网络是一种用于目标检测的深度学习模型,主要解决的问题是在不同尺度下检测不同大小的物体。在传统的卷积神经网络中,网络的特征图大小会不断减小,因此只能检测较小的物体,对于较大的物体则无法很好地检测。而特征金字塔网络则通过在底部特征图的基础上构建一个金字塔状的上采样结构,使得网络能够在不同尺度下检测不同大小的物体。 具体来说,特征金字塔网络由两个主要部分构成:共享特征提取器和金字塔结构。共享特征提取器是一个常规的卷积神经网络,用于提取输入图像的特征。而金字塔结构包括多个尺度的特征图,通过上采样和融合来获得不同尺度的特征表示。这些特征图之后被输入到后续的目标检测网络中,可以通过这些特征图来检测不同尺度的物体。 特征金字塔网络可以有效地解决目标检测任务中的尺度问题,并且在许多实际应用中表现出了优异的性能。例如,通过使用特征金字塔网络,在COCO数据集上得到的目标检测结果明显优于现有的一些目标检测算法。 总之,特征金字塔网络是一种非常有效的深度学习模型,可以处理目标检测任务中的尺度问题,提高模型在不同大小物体的检测精度。它在实际应用中具有很高的价值和应用前景。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值