知识蒸馏学习笔记

已于 2022-07-14 02:44:31 修改
阅读量2.1k 收藏 1
点赞数
分类专栏： 深度学习宝典 文章标签： 计算机视觉 人工智能
于 2021-02-04 23:08:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/113666463
版权
本文介绍了ECCV 2022会议上关于知识蒸馏的最新研究，重点探讨了其在分类、检测和分割任务中的应用。文中提到了自监督蒸馏（SEED）以及迭代相似性蒸馏（ISD）的开源实现，为计算机视觉领域的自我监督学习和知识传递提供了新方法。
摘要由CSDN通过智能技术生成
了解本专栏 订阅专栏 解锁全文 超级会员免费看
AI算法网奇
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【知识蒸馏论文解读】Dataset Distillation 创新性十足的数据集蒸馏
捡起一束光的博客
01-21 5548
模型蒸馏（model层面）的目标是从一个复杂的模型中蒸馏知识到小的模型上。本文考虑的是数据集上的蒸馏（**dataset层面**），具体来说，我们会固定住模型，然后尝试从较大的训练数据集中蒸馏知识到小的数据集上。核心目的是将原始的大数据集压缩成一个小的数据集（不需要来自训练集的分布），并且在这个小数据集上训练模型的效果和原始较大数据集上的训练效果是接近的。......
知识蒸馏论文翻译（8）—— Knowledge Distillation Meets Self-Supervision（自监督）
lsfeitianzhuzhuxia的博客
04-22 1105
知识蒸馏是一种重要的模型压缩和迁移学习技术，它涉及从教师网络中提取“暗知识”来指导学生网络的学习。与以前利用特定于体系结构的线索（如激活和注意力）进行蒸馏的工作不同，这里我们希望探索一种更通用、模型不可知的方法，从预先培训过的教师模型中提取“更丰富的黑暗知识”。我们表明，看似不同的自我监督任务可以作为一个简单而强大的解决方案。例如，在转换实体之间进行对比学习时，教师网络的噪声预测反映了其语义和姿势信息的内在组成
Knowledge Distillation Meets Self-Supervision——知识蒸馏论文阅读
weixin_48448726的博客
11-14 649
在本研究中，我们首次尝试将自我监督与知识蒸馏相结合，提出了一个新的框架SSKD。它采用对比预测作为辅助任务，帮助从教师网络中提取更丰富的知识。设计了一种选择性转移策略来抑制教师知识中的噪声。我们通过在CIFAR100和使用各种架构的ImageNet上进行彻底的实验来检验我们的方法。我们的方法实现了最先进的性能，证明了我们方法的有效性。进一步的分析表明，我们的SSKD可以使学生更接近老师，在少镜头和噪声标签的情况下工作良好。
Knowledge Distillation & Student-Teacher Learning for Visual Intelligence: A Review & New Outlooks
qq_43812519的博客
06-08 927
论文地址：http://arxiv.org/abs/2004.05937 github地址：无 这是篇关于知识蒸馏的综述文章。知识蒸馏被认为是用于模型压缩的非常有效的一种方式。本文作者从模型压缩和知识迁移两个应用场景概述了近年来对知识蒸馏的研究。 Outlines 知识蒸馏的定义 由Hinton等人提出，表示较小规模的学生网络的训练过程由较大规模的教师网络的监督进行。其目标函数可表示为： 其中H为损失函数类型，y是真实标签，σ\sigmaσ是含有温控系数TTT的softmax函数，zs,ztz_s, z_
2021 ICCV、CVPR 知识蒸馏相关论文
u014546828的博客
10-29 3269
2021 ICCV Perturbed Self-Distillation: Weakly Supervised Large-Scale Point Cloud Semantic Segmentation [pdf] [supp] [bibtex] Densely Guided Knowledge Distillation Using Multiple Teacher Assistants [pdf] [supp] [arXiv] Figure 1. Problem defini...
ECCV 2020 | 自监督任务辅助的知识蒸馏
我爱计算机视觉
07-11 2647
本文介绍了一种利用自监督任务辅助知识蒸馏的方法：Knowledge Distillation Meets Self-Supervision [1]. 这篇文章（以下简称SSKD）来自香港...
知识蒸馏论文读书笔记
01-06
在2015年hinton 的知识蒸馏文章发表出来之前，就有人尝试过让一个小模型去学习一个大模型的表现，以期能够达到与大模型等同的性能。 这篇文章的标题就叫“Model Comperssion”，是2006年的文章，大家都还在用CPU训练...
（笔记）通过知识蒸馏和量化进行模型压缩MODEL COMPRESSION VIA DISTILLATION AND QUANTIZATION
yingpeng_zhong的博客
05-06 3860
（笔记）Model Compression via Distillation and Quantization （笔记）Model Compression via Distillation and Quantization 原文链接：https://arxiv.org/abs/1802.05668 代码： https://github.com/antspy/quantized_distill...
知识蒸馏（Knowledge Distillation）
热门推荐
AI Flash
06-04 18万+
1、Distilling the Knowledge in a Neural Network Hinton的文章"Distilling the Knowledge in a Neural Network"首次提出了知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学...
【转】Knowledge-Distillation 知识蒸馏论文集合
u014546828的博客
06-28 9505
Awesome Knowledge-Distillation 博客转自CTOLib码库：https://www.ctolib.com/FLHonker-Awesome-Knowledge-Distillation.html Awesome Knowledge-Distillation Different forms of knowledge Knowledge from logits Knowledge from intermediate layers Graph-based.
解读自监督学习(Self-Supervised Learning)几篇相关paper
深度学习与计算机视觉
01-31 3584
作者：bingo本文转载自知乎，作者bingo已授权，未经许可请勿二次转载。Supervised deep learning由于需要大量标注信息，同时之...
【论文笔记_自监督蒸馏】SEED: SELF-SUPERVISED DISTILLATION FOR VISUAL REPRESENTATION
qq_45128278的博客
03-10 1681
2021年。 摘要 本文研究小模型的自监督学习。我们的实证研究表明，虽然广泛使用的对比自监督学习方法在大模型训练方面取得了很大的进步，但在小模型训练中效果并不理想。为了解决这个问题，我们提出了一种新的学习范式，称为自我监督蒸馏（SEED），我们利用一个更大的网络（作为教师）以自我监督的方式将其代表性知识转移到一个更小的体系结构（作为学生）中。我们没有直接从未标记的数据中学习，而是训练一个学生编码器来模拟教师在一组实例上推断的相似性分数分布。我们发现，SEED极大地提高了小型网络在下游任务上的性能。与自我监.
协同过滤-必读论文推荐-AMiner
AI_Conf的博客
11-12 2163
AMiner平台由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 AMiner平台：https://www.aminer.cn 协同过滤是利用某兴趣相投、拥有共同经验之群体的喜好来推荐用户感兴趣的信息，个.
正则多关键字_今日论文|清华：多视图远程关系抽取&谷歌：深度核分类层&NLP领域持续学习综述&用于可靠文本分类的掩码关键字正则化&MORE...
weixin_39583623的博客
12-19 2370
12月18日人工智能领域新增论文267篇，AI日读精选其中79篇推荐给大家。这些论文主要来自AAAI，BIBM，COLING，CVPR，Computational Intelligence，ECIR，EMNLP，Evolutionary Computation，ICRA，IJCV，Information Systems，NeurIPS，WACV等会议与期刊。其中包含计算机视觉论文28篇[...
SSKD：自我监督知识蒸馏
syf的博客
09-17 1993
提出了一个新的框架，称为SSKD，这是首次尝试将自我监督与知识蒸馏相结合。采用对比预测作为辅助任务，帮助从教师网络中提取更丰富的知识。设计了一种选择性迁移策略来抑制教师知识中的噪声。通过使用各种架构在CIFAR100和ImageNet上进行彻底的实验来检验我们的方法。SSKD可以使学生更接近老师，并在少量镜头和嘈杂标签场景下工作良好。
ICLR 2021 | SEED：自监督蒸馏学习，显著提升小模型性能！
阿木寺的博客
01-15 2081
点击上方“CVer”，选择加"星标"置顶重磅干货，第一时间送达本文转载自：AIWalker论文：https://arxiv.org/abs/2101.04731注：公众号...
COD论文笔记 ECCV2024 Just a Hint: Point-Supervised Camouflaged Object Detection
最新发布
985小菜鸡
09-05 441
的引言部分为后续的技术细节奠定了基础，简要介绍了整个方法的核心思想和解决方案。通过引入三个模块，作者试图解决在点标注COD任务中模型面临的特征不稳定和部分检测问题，并通过无监督对比学习和注意力调节机制来增强模型的性能。
Python学习笔记：个人经验与知识整理
这是一份关于Python编程语言的学习笔记，作者通过个人多年的经验积累，旨在整理和更新Python的相关知识。笔记主要基于Python 2.7版本，虽然不适合初学者作为入门教材，但假设读者具有足够的编程基础，可作为个人备忘...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值