CVPR20 (AD) - Uninformed Students: Student–Teacher Anomaly Detection

最新推荐文章于 2024-09-27 16:52:49 发布
原创 最新推荐文章于 2024-09-27 16:52:49 发布 · 3.2k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #计算机视觉 #人工智能

这篇博客介绍了CVPR 2020的研究论文，提出了一种名为Student-Teacher Anomaly Detection的方法，利用Teacher网络的预训练知识和Discriminative Embeddings进行异常区域识别。文章重点讨论了知识蒸馏和描述符紧凑性技术，并展示了如何通过多尺度和ensemble提高检测性能。

文章目录

原文地址

https://openaccess.thecvf.com/content_CVPR_2020/papers/Bergmann_Uninformed_Students_Student-Teacher_Anomaly_Detection_With_Discriminative_Latent_Embeddings_CVPR_2020_paper.pdf

论文阅读方法

三遍论文法

初识

在这里插入图片描述
本文提出了一个名为“Student-Teacher Anomaly Detection”的新框架，利用discriminative Embedding：首先Teacher网络(T)在大量自然图像(ImageNet)中进行预训练，Student网络(S)在无缺陷数据集上进行训练(以Teacher网络的输出作为监督)，比较S与T输出间的不同来判断该区域是否存在缺陷。

其中可以设置多个S，并且构造多尺度等方法构造ensemble。

相知

只谈关键技术

Teacher网络与Student网络具有相同架构，并且输入都是大小相等的图像块Patch，每个Patch在原图有着固定的感受野，利用Fast Dense Local Feature Extraction通过确定性转换应用于整幅图像(相比于将图片划分为一个个Patch来分

最低0.47元/天 解锁文章
CVPR 2023 精选论文学习笔记：DeSTSeg Segmentation Guided Denoising Student-Teacher for Anomaly Detection
结构化论文学习和写作
11-29 1166
学生教师方法：这些方法使用一个教师网络来学习正常数据的表示，然后使用一个学生网络来学习从教师的表示中重建数据。自监督学习方法：这些方法使用自监督学习任务，例如预测图像旋转或从随机剪切和粘贴的部分中重建图像，来学习正常数据的表示。本文提出了一种自监督学习异常检测方法，而其他参考文献提出了各种其他方法，包括基于自动编码器的方法、学生教师方法、子图像异常检测方法、基于。异常检测方法有多种，每种方法都有其自身的优缺点。子图像异常检测方法：这些方法将图像分成子图像，然后使用深度金字塔对应等方法来检测子图像中的异常。
【Anomaly Detection论文阅读记录】CutPaste: Self-Supervised Learning for Anomaly Detection ...(CVPR-2021)-理论
最新发布
大家一起进步叭
11-19 998
其本质可以是一种迁移学习：让网络先在其他任务（pretext task）上训练，使模型学到一定的语义知识，再用模型执行目标任务）对于自监督表示学习至关重要，其本质是迁移学习。2.在异常检测及定位阶段，CNN用来提取特征，高斯概率密度估计（GDE）使用CNN提取的特征计算异常分数，图像级别的异常检测可以使用GradCAM大致定位异常区域；1.基于自监督学习和 CutPaste 数据增强的图像表示学习，对正样本采用CutPaste生成图像，训练一个二分类CNN，识别正常样本，及添加CutPaste后的图像。
【论文笔记】【CVPR2020】【异常检测 】Uninformed Students: Student–Teacher Anomaly Detection
weixin_44866655的博客
03-03 6741
【论文笔记】【异常检测】Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings
Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings论文复现及解析
qq_42390121的博客
03-24 5836
paper地址Uninformed Students: Student-Teacher Anomaly Detection with Discriminative Latent Embeddings 代码地址 GitHub - denguir/student-teacher-anomaly-detection: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings​​​​​​g 想复现一下这个论文中的实验，然后看
《Uninformed Students: Student–Teacher Anomaly Detectionwith Discriminative Latent Embeddings》论文阅读笔记
m0_46314815的博客
03-02 451
本篇论文采用了知识蒸馏的方式，
(Unsupervised Anomaly Detection)无监督异常检测领域最新研究进展 - Part 3 基于嵌入的方法
要相信光
12-08 1万+
文章目录前言1. 基于Deep SVDD1.1 Deep SVDD2. 基于SPADE2.1 SPADE (CVPR2021) 前言 异常检测领域中，基于嵌入的方法指的是：将图像送入模型，提取特征，并在对应的特征空间中学习分界面。与重构方法的主要不同在于，其不在RGB图像空间而是在高维的特征空间中进行异常检测；与自监督的方法不同，不过于依赖额外的负样本的构造 / 代理任务的设计，主要考虑的特征空间中的差异。 1. 基于Deep SVDD 1.1 Deep SVDD 2. 基于SPADE 2.1 SPADE
Uninformed Students: Student-Teacher Anomaly Detection 笔记 | 待补充
weixin_42355902的博客
06-17 1683
我们提出了一种新的框架，用于解决自然图像中无监督异常分割的挑战性问题。从中，可以通过两种方式获得异常度量： 首先，我们建议计算混合物的平均值 μ（r，c） 相对于教师的代理标签的回归误差： 我们提出了一个新框架，用于解决自然图像中无监督异常分割的挑战性问题。采用多个随机初始化的学生网络和一个教师网络，这样的在无异常图像学生网络的embedding就会相似，异常图像由于students是随机初始化的，且teacher并没有在异常样本上教过他们，所以在students之间embedding差异也会比较大。
【论文笔记】Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings
m0_53546362的博客
11-23 844
学生网络经过训练，可以对描述性教师网络的输出进行回归。教师网络是在自然图像的大型补丁数据集上进行预训练的。通常情况下，预训练的目的是通过大规模的未标注数据来学习特征。当学生网络的输出与教师网络的输出不同时，就会检测到异常。当学生网络遇到不在其正常训练数据范围内的情况时，可能会产生异常，因为它无法有效地处理这些新的、异常的情况。解决的问题：现有方法在处理大型高分辨率图像数据集时所面临的两个主要问题，对特征空间的降维需求以及对训练数据的大量子采样，这限制了它们在这个特定背景下的性能。提出的解决方案。
读论文：Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings
yuanxue18的博客
03-11 2424
目前实际的异常检测遇到的一个很大的困难，是在实际的场景中（例如工业流水线等），异常样本往往很难获得，甚至很多时候没有异常样本。这就迫使我们采用semi-supervised或者unsupervised的方法。接下来介绍的文章也都是semi-supervised或者unsupervised的方法。所以现在的异常检测主要通过： generative algorithms such as Generative Adversarial Networks (GANs) or Variational Autoencod
pytorch项目Student-Teacher anomaly detection修改训练方式,能将大图划分成块载入
baidu_40840693的博客
11-25 1193
项目代码: https://github.com/denguir/student-teacher-anomaly-detection 其实也可以直接随机crop大图区域,然后再crop-patch(65*65) 但是这里我们将大图划分成4块区域去做了 before_dir = os.path.abspath(os.path.join(os.getcwd(), "..")) print("before_dir", before_dir) dataset = AnomalyDataset(cs
uninformed-students-pytorch:纸的简单实现
05-26
Uninformed Students Introduction - 介绍 A simple and incomplete implementation of paper: MVTec, CVPR, 2020. Another implementation repo: 此项目复现主要是本人学习之用，可能存在各种问题。有个朋友创了一个QQ群，欢迎加群讨论：689772351 Requirements - 依赖 python3 pytorch~=1.3 torchvision numpy opencv-python Usage - 用法 Prepare datasets imagenet (any image dataset) MVTec_AD Train a teacher network choose a patch_size from (17, 33 or 65) and pytho
异常检测经典作：基于teacher-students的无监督异常检测
学姐带你玩AI的博客
05-12 2289
来源：投稿 作者：Mr.Eraser编辑：学姐论文链接：https://arxiv.org/pdf/1911.02357.pdf。
Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings(翻译)
weixin_50556981的博客
04-13 1685
未知学生：学生-教师异常检测与鉴别潜在嵌入 原文：https://export.arxiv.org/pdf/1911.02357 Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings 摘要 针对高分辨率图像中无监督异常检测和像素精确异常分割的难题，我们引入了一个强大的师生框架。学生网络被训练为回归描述教师网络的输出，该网络是在一个大的自然图像的补丁数据集上预训练。这避免了对先前
Uninformed Students: Student–Teacher Anomaly Detection with Discriminative Latent Embeddings阅读笔记
kaMAdoscn的博客
09-27 594
知识蒸馏、教师-n学生模型、异常检测、图像分割
【阅读笔记】《Student-Teacher Feature Pyramid Matching for Anomaly Detection》
yetzirah的博客
07-13 1783
论文《Student-Teacher Feature Pyramid Matching for Anomaly Detection》的个人阅读笔记
【论文笔记】Student-Teacher Feature Pyramid Matching for Anomaly Detection
HarryXu的博客
02-23 3035
原文地址：https://arxiv.org/pdf/2103.04257.pdf 代码可以参考：https://paperswithcode.com/paper/student-teacher-feature-pyramid-matching-for 核心：利用知识蒸馏的方式在MVTec AD数据集上进行异常检测 论文中的teacher网络是在ImageNet上预训练的ResNet-18 而student网络中的参数是随机初始化的 在训练过程中，使得student逼近teacher 论文利用两点来.
《Student-Teacher Feature Pyramid Matchingfor Anomaly Detection》论文阅读笔记
m0_46314815的博客
01-01 513
作者提出了一种新的特征金字塔匹配技术，并将其纳入到学生-教师异常检测框架中。
《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding
HarryXu的博客
03-10 9138
这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏 论文地址：https://arxiv.org/pdf/2201.10703v1.pdf Motivation 论文针对传统的知识蒸馏的方案提出了一个问题：认为之前的方案容易阻碍异常表现的多样性 传统的知识蒸馏teacher和student的网络架构很相似或者几乎相同 而且teacher和student的输入流都是一样的 针对这个我的理解是，因为T和S网络相似，尽管T是预训练好的，有一定的泛化能力，而S只是模仿了T学到了重.
详解深度学习中的教师-学生模型（Teacher- Student Model）
热门推荐
月亮不知道的博客
03-08 3万+
在知识蒸馏时，我们通常不会仅让学生模型去模仿最高概率的那个类别，而是让它学习整个教师模型的“软化”概率分布，比如通过提高温度参数（temperature scaling）来使分布更加平滑，分布中的每个类别的概率都将被赋予更高的相对重要性，即使它们不是最大概率的类别。，在一个图像分类任务中，教师模型可能是一个大型的预训练神经网络，它对输入图片计算出各类别的概率分布，如对于10类问题，不仅预测出哪个类别最有可能是正确的，还给出所有类别对应的概率值。学生模型则根据这些软标签进行学习，从而模仿教师模型的决策过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值