Decoupled Knowledge Distillation——目标分布与非目标分布相解耦

已于 2022-08-21 14:36:19 修改
阅读量1.6k 收藏 2
点赞数
分类专栏： 知识蒸馏 模型压缩 深度学习 文章标签： 人工智能 模型压缩 知识蒸馏 计算机视觉 迁移学习
于 2022-08-19 21:30:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nature553863/article/details/126431699
版权
DKD（Decoupled Knowledge Distillation）通过对传统知识蒸馏的分析，提出将目标分布和非目标分布解耦，从而改进蒸馏损失函数，提升任务相关知识迁移的效果。通过独立处理这两部分，DKD可以改善得分蒸馏的效果，特别是在多类目分类任务中。论文和实现代码已公开，进一步研究显示解耦目标分布和非目标分布能更好地体现暗知识，提高模型压缩的效率。
摘要由CSDN通过智能技术生成
最低0.47元/天 解锁文章
Law-Yao
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文解读：Decoupled Knowledge Distillation
Hello World
05-03 1372
1. 论文基本信息 论文：Decoupled Knowledge Distillation 地址：https://arxiv.org/pdf/2203.08679.pdf 代码：https://github.com/megvii-research/mdistiller 2. 背景与摘要 知识蒸馏花样繁多，在有教师模型的基础上，知识蒸馏可以从response、relation、feature等角度进行研究，设计loss，本文中，作为认为其实最基础的KD仍然有很大的潜力可以挖掘。因此对KD方法进行改进，将教
【KD】2022 CVPR Decoupled Knowledge Distillation
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
04-09 3357
目录 1 研究摘要 2 研究动机 2.1 符号定义 2.2 重新推导 KD Loss 3 启发式探索 3.1 单独使用 TCKD/NCKD 训练 3.2 TCKD：传递样本难度相关的知识 3.3 NCKD：被抑制的重要成分 3.4 启发 4 Decoupled Knowledge Distillation 5 实验结果 5.1 Decoupling 带来的好处 5.2 图像分类 5.3 目标检测 6 扩展性实验和可视化 6.1 训练效率 6.2 提升大 Teacher...
[论文评析]Decoupled Knowledge Distillation， CVPR2022
MasterQKK
09-15 662
Decoupled Knowledge Distillation， CVPR，2022 解藕知识蒸馏，DKD，
Decoupled Knowledge Distillation论文阅读+代码解析
qq_45478482的博客
10-28 1494
知识蒸馏（KD）的通过最小化师生预测对数之间的KL-Divergence来传递知识(下图a)。目前大部分的研究注意力都被吸引到从中间层的深层特征中提取知识。与基于logit的精馏方法相比，特征精馏在各种任务中都具有优越的性能，因此对logit精馏的研究很少。然而，基于特征的方法的训练成本并不令人满意，因为在训练期间，为了提取深度特征，引入了额外的计算和存储使用(例如，网络模块和复杂的操作)。Logit蒸馏需要边际计算和存储成本，但性能较差。
Decoupled Knowledge Distillation（CVPR 2022）原理与代码解析
00000cj的博客
03-04 2239
本文作者深入研究了KD的作用机制，将分类预测拆分为两个层次：（1）对目标类和所有非目标类进行二分类预测。（2）对每个非目标类进行多分类预测。进而将原始的KD损失也拆分为两部分，一种是针对目标类的二分类蒸馏，另一种是针对非目标类的多分类蒸馏。并分别称为target classification knowledge distillation（TCKD）和non-target classification knowledge distillation（NCKD）。通过分别单独研究两部分对性能的影响，作者发现NCK
decoupled knowledge distillation
03-16
解耦式知识蒸馏是一种新型的深度学习模型压缩方法，它通过将教师模型的知识分解成多个部分，然后分别对学生模型进行蒸馏，从而实现了知识的解耦和模型的高效压缩。这种方法可以大幅度减少模型的参数量和计算复杂度，...
目标检测YOLO实战应用案例100讲-面向智能路侧边缘计算的车辆行人视觉目标检测算法研究
qq_36130719的博客
06-22 1062
我国每年大约发生20多万起交通事故，直接造成的经济损失约15亿元。为应对日益凸显的交通问题，合作式智能交通系统（CooperativeIntelligent Transportation Systems，C-ITS）[4]的概念被提出。作为C-ITS最新的发展方向，车路协同系统（Cooperative Vehicle Infrastructure Systems，CVIS）[5]采用先进的信息与通信技术，全方位实施车车、车路实时信息交互，以形成安全、高效和环保的道路交通环境。
焦点和全局知识蒸馏用于目标检测的改进方法
46430焦点和全局知识蒸馏用于检测器0杨振东*1,2 李喆2 蒋晓虎1 龚媛10袁泽寰2 赵丹佩3 袁纯†101 清华...然而，目标检测更加复杂，大多数知识蒸馏方法在目标检测上失败。在本文中，我们指出在目标检测中，教师和
2022 (DKD) Decoupled Knowledge Distillation
weiweizh30的博客
12-17 382
Decoupled Knowledge Distillation
【论文精读】CVPR2022 - 解耦知识蒸馏
qq_50757624的博客
03-21 1543
目前的蒸馏方法主要基于从中间层蒸馏深层特征，而logit蒸馏的意义被大大忽视。为了为研究logit蒸馏提供一个新的观点，我们将经典的KD损失重新表述为两部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们通过实证研究和证明了这两部分的影响： TCKD转移了关于训练样本的“困难”的知识，而NCKD是logit蒸馏工作有效的主要原因。更重要的是，我们揭示了经典的KD损失是一个耦合公式，它(1)抑制了NCKD的有效性，(2)限制了平衡这两部分的灵活性。
解耦知识蒸馏（Decoupled Knowledge Distillation，DKD）论文解读
syf的博客
12-11 1939
通过将经典的KD损失重新表述为两个部分，提供了一种解释logit蒸馏的新观点部分，即目标类知识蒸馏（TCKD）和非目标类知识精馏（NCKD）。分别研究和证明了这两部分的作用，发现KD的耦合公式限制了知识迁移的有效性和灵活性。
知识蒸馏论文阅读：DKD算法笔记
qq_43631268的博客
03-08 1555
SOTA的蒸馏方法主要基于蒸馏来自中间层的深度特征，而logit蒸馏的重要性被极大地忽略。为了给logit蒸馏的研究提供一个新的视角，我们将经典的KD损失重新表示为两部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们经验地研究并证明了这两部分的作用：TCKD迁移了关于训练样本的“难度”的知识，而NCKD则是logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一个耦合的形式，它①抑制了NCKD的有效性，②限制了平衡这两部分的灵活性。为了解决这些问题，我们提出解耦知识蒸馏。
Decoupled Knowledge Distillation解耦知识蒸馏
最新发布
weixin_43238909的博客
03-03 1211
在过去的几十年里，计算机视觉领域已经被深度神经网络（DNN）彻底改变，它成功地促进了各种真实场景的任务，如图像分类、目标检测和语义分割。然而，大的网络通常受益于大的模型容量，引入了高计算和存储成本。在广泛部署轻量级模型的工业应用中，这样的成本并不可取。在文献中，降低成本的一个潜在方向是知识蒸馏（KD）。KD代表了一系列专注于将知识从重模型（教师）——转移到轻模型（学生）的方法，这可以在不引入额外成本的情况下提高轻模型的性能。
解决mmdet 训练提示gt_mask = instance[‘mask‘] KeyError: ‘mask‘
closejudge的博客
10-11 876
该字段为通过coco数据集”annotations“中的“segmentation”来计算mask，检查一下coco数据集中的“segmentation”是否为空。可以将“bbox”传入“segmentation”
CVPR 2022｜解耦知识蒸馏！旷视提出DKD：让Hinton在7年前提出的方法重回SOTA行列！...
阿木寺的博客
04-12 2275
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：机器之心 |旷视科技等与主流的feature蒸馏方法不同，本研究将重心放回到logits蒸馏上，提出了一种新的方法「解耦知识蒸馏」，重新达到了SOTA结果，为保证复现该研究还提供了开源的蒸馏代码库：MDistiller。1 研究摘要近年来顶会的 SOTA 蒸馏方法多基于 CNN 的中间层特征...
Yolov5 seg在图像分割上的落地应用
hllyzms的博客
12-11 6575
网络模型上，加载同目标检测网络加载，通过yaml文件对网络搭建，yaml搭建的网络除了head最后一层，前面的基本上和目标检测的网络保持一致，分割网络通过读取yaml文件搭建，SegmentationModel类继承DetectionModel，其对yaml文件的解析方式同目标检测。loss上在分类和检测同目标检测，同时添加了对分割的损失，在分割上的build_target部分，相比于检测考虑anchor正样本划分，分割属于像素级的分类，读取对应目标的index即可。今天对分割任务大概梳理一遍。
如何评价CVPR 2021的论文接收结果？
深度学习与计算机视觉
03-01 1587
链接：https://www.zhihu.com/question/446299297编辑：深度学习与计算机视觉声明：仅做学术分享，侵删一年一度的计算机视觉顶会即将放榜，大家的rebutt...
Pytorch学习笔记(七):F.softmax()和F.log_softmax函数详解
热门推荐
源的博客
06-17 4万+
相关文章 Pytorch学习笔记(一):torch.cat()模块的详解 Pytorch学习笔记(二):nn.Conv2d()函数详解 Pytorch学习笔记(三):nn.BatchNorm2d()函数详解 Pytorch学习笔记(四):nn.MaxPool2d()函数详解 Pytorch学习笔记(五):nn.AdaptiveAvgPool2d()函数详解 Pytorch学习笔记(六):out.view(out.size(0), -1)和nn.Linear()函数详解 Pytorch学习笔记(七):F.s
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值