Reverse Distillation【异常检测：Density-based】

最新推荐文章于 2024-10-05 07:12:05 发布
最新推荐文章于 2024-10-05 07:12:05 发布
阅读量978 收藏 1
点赞数
分类专栏： 异常检测&论文理解 文章标签： 计算机视觉 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41804812/article/details/127567316
版权

CVPR2022

背景

与传统的不同：

（1）采用老师编码器和学生解码器结构，学生解码器与老师解码器结构相反（增加异常可区分性，相似的话，在训练阶段一定程度泄漏异常信息。）。

（2）将低维嵌入作为输入，通过不同尺度模拟教师行为。

模型原理

 

 OCBE模块（ResNet中第四残差块）：

（1）将多维度特征压缩成单维度。

（2）负责消除老师网络的冗余表示，阻止异常输入到学生网络。

损失函数：余弦相似度量，标量损失。

 

 

太简单了
关注
专栏目录
【论文笔记】【CVPR2022】【异常检测】 Anomaly Detection via Reverse Distillation from One-Class Embedding
weixin_44866655的博客
03-13 1万+
[CVPR2022] Anomaly Detection via Reverse Distillation from One-Class Embedding CVPR 2022 Link: [2201.10703] Anomaly Detection via Reverse Distillation from One-Class Embedding (arxiv.org) Code: none 1. Intro 提出一个新颖的知识蒸馏框架：Teacher Encoder + Student Decod
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
异常检测 | Anomaly Detection via Reverse Distillation from One-Class Embedding |很不错的方法，可以用来找出特例！！！
5年+算法工程师，分享人工智能前沿技术，与自己的工程经验，欢迎订阅关注。
06-15 1202
本文提出了一种新的异常检测方法，名为“反向蒸馏”。该方法利用预训练的教师模型提取图像特征，并将其蒸馏到学生解码器中。学生解码器的目标是重建教师模型的多尺度特征，但由于学生模型只学习正常模式，因此无法重建异常特征，从而实现异常检测。主要贡献反向蒸馏框架： 教师模型为编码器，学生模型为解码器，打破传统蒸馏模型的结构限制，提高模型对异常的区分能力。一类别瓶颈嵌入模块： 将教师模型的高维特征压缩到低维空间，有效抑制异常特征的传播，增强异常检测效果。实验结果。
探秘异常检测新星：重访反向蒸馏（Revisiting Reverse Distillation）
gitblog_01016的博客
08-30 873
探秘异常检测新星：重访反向蒸馏（Revisiting Reverse Distillation） Revisiting-Reverse-Distillation(CVPR 2023) Revisiting Reverse Distillation for Anomaly Detection项目地址:https://gitcode.com/gh_mirrors/re/Revisiting-Reve...
【论文笔记】CVPR2022：Anomaly Detection via Reverse Distillation From One-Class Embedding
yjttjyyy的博客
08-27 1216
反向蒸馏由异构体系结构组成：一个教师编码器和一个学生解码器。其次，学生解码器不直接将原始数据同时提供给T-S模型这种设计有两个主要优点：i）非相似结构。可以将教师编码器视为下采样滤波器，将学生解码器视为上采样滤波器。“反向结构”避免了无法区分的滤波器引起的混淆。ii）紧凑嵌入。馈送到学生解码器的低维嵌入作为正常模式恢复的信息瓶颈层异常特征可以看作是正常模式上的扰动。紧凑的嵌入有助于防止这种不寻常的扰动传播到学生模型，并因此提高了T-S模型在异常上的表示差异。
Anomaly Detection via Reverse Distillation from One-Class Embedding
DYCAHGCDX的博客
11-01 1799
为了解决“大容量模型获得的高维描述符可能具有相当大的冗余，表示的高度自由和冗余不利于学生模型解码基本的无异常特征”的不足，引入一个可训练的一类嵌入块，将教师模型的高维表示投影到低维空间中；更高层次的特征层和更宽的感知域可以提高性能（如使用第二和第三层特征的异常检测AUROC达到了94.5%，而只使用第三层特征的性能达到了97.3%）；教师E中的下采样是通过一个内核大小1，步幅为2的卷积层实现的，学生D相应解码块采用内核大小为2，步长为2的反卷积层。学生解码器D的架构是对称的，与E相比是反向的，
《论文笔记》Anomaly Detection via Reverse Distillation from One-Class Embedding
HarryXu的博客
03-10 7856
这是2022年的CVPR文章，作者提出了一个创新的知识蒸馏方案：反转知识蒸馏 论文地址：https://arxiv.org/pdf/2201.10703v1.pdf Motivation 论文针对传统的知识蒸馏的方案提出了一个问题：认为之前的方案容易阻碍异常表现的多样性 传统的知识蒸馏teacher和student的网络架构很相似或者几乎相同 而且teacher和student的输入流都是一样的 针对这个我的理解是，因为T和S网络相似，尽管T是预训练好的，有一定的泛化能力，而S只是模仿了T学到了重.
（十一：2020.08.28）CVPR 2017 追踪之论文纲要（译）
Jojo论文基地
08-28 3248
CVPR 2017 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
CVPR 2017论文集锦（论文分类）—— 附录部分翻译
热门推荐
dengheCSDN的博客
08-23 2万+
作为计算机视觉领域的三大顶级会议之一，CVPR 2017 又收录了很多优秀的文章。具体可参见 CVPR 的论文官网：http://www.cvpapers.com/cvpr2017.html        Machine Learning 1 （机器学习） Spotlight 1-1A  （关注的焦点 1-1 A） Exclusivity-Consistency Regular
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
【论文笔记】CVPR2023：Revisiting Reverse Distillation for Anomaly Detection
yjttjyyy的博客
08-27 2100
RD++通过提出伪异常机制、多个投影层的集成、紧凑正常特征和异常特征缓解的多任务学习，提升了RD的性能。
Revisiting Reverse Distillation 项目教程
gitblog_00350的博客
08-31 640
Revisiting Reverse Distillation 项目教程 Revisiting-Reverse-Distillation(CVPR 2023) Revisiting Reverse Distillation for Anomaly Detection项目地址:https://gitcode.com/gh_mirrors/re/Revisiting-Reverse-Distilla...
和GPT讨论知识蒸馏的基本概念
weixin_40459958的博客
01-23 887
在您的例子中，U-Net中的下采样部分（编码器）和上采样部分（解码器）更类似于网络内部的不同组件，而不是逆向蒸馏中的教师和学生。在传统的知识蒸馏过程中，确实是使用已经训练好的大型模型（教师模型）为未标记的数据生成软标签，然后使用这些带有软标签的数据来训练一个更小的模型（学生模型）。总之，知识蒸馏的核心在于让学生模型学习并模仿教师模型的行为，尤其是教师模型对不同类别的概率分布，从而使学生模型能够在更小、更高效的架构下达到接近教师模型的性能。训练学生模型：接下来，学生模型被训练来模仿教师模型的这些软标签。
【GitHub项目推荐--计算机视觉】【转载】
j8267643的博客
01-28 963
通过 EasyCV 你可以快速体验最新的图像自监督学习和 Transformer 技术，并且 EasyCV 还包含一些常见的计算机视觉的任务，比如图像分类、目标检测等等。EasyCV 是阿里巴巴开源的基于 PyTorch 的 Computer Vision 工具箱，主要专注于自监督学习和 Transformer。开源地址：https://github.com/alibaba/EasyCV。
Revisiting Knowledge Distillation via Label Smoothing Regularization
afadgas的博客
03-15 457
Revisiting Knowledge Distillation via Label Smoothing Regularization
【计算机视觉 | 异常检测】顶会精选！工业异常检测最新SOTA方案分享！（下）
wzk4869的博客
11-30 2772
【计算机视觉 | 异常检测】顶会精选！工业异常检测最新SOTA方案分享！（下）
污水排放口细粒度检测数据集，污-水排放口的类型包括10类目标，10000余张图像，yolo格式目标检测，9GB数据量。
最新发布
阿利同学的博客
10-05 1152
污水排放口细粒度检测数据集，污-水排放口的类型包括10类目标（1 = 合流下水道，2 = 雨水，3 = 工业废水，4 = 农业排水，5 = 牲畜养殖，6 = 水产养殖，7 = 地表径流，8 = 废水处理厂，9 = 生活废水（例如，废水处理厂未收集的废水），10 = 其他），10000余张图像，yolo格式目标检测，9GB数据量。
flex-end：和flex-direction: row-reverse;解释
01-27
而flex-direction: row-reverse;属性用于设置主轴的方向为从右到左。 举个例子，假设有一个父容器，其中包含三个子元素。当设置flex-direction: row-reverse;时，子元素会从右到左排列。而当设置flex-end时，子元素...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值