2020知识蒸馏 《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》论文笔记

最新推荐文章于 2023-04-29 17:12:27 发布
最新推荐文章于 2023-04-29 17:12:27 发布
阅读量2.3k 收藏 9
点赞数 1
分类专栏： 知识蒸馏 论文笔记 迁移学习 文章标签： 深度学习 机器学习 网络 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22497977/article/details/108653196
版权

论文笔记《Channel Distillation: Channel-Wise Attention for Knowledge Distillation》

  论文地址：Channel Distillation: Channel-Wise Attention for Knowledge Distillation, Zaida Zhou, Chaoran Zhuge, Xinwei Guan, Wen Liu, 2020.

摘要

  In this paper, we propose a new distillation method, which contains two transfer distillation strategies and a loss decay strategy.
 本文提出了两种传输蒸馏策略和一种损失衰减策略。

  • Channel Distillation (CD)渠道蒸馏
  • Guided Knowledge Distillation (GKD)知识引导蒸馏
  • Early Decay Teacher (EDT)早期教师的衰减
    在这里插入图片描述

问题

  1. 知识传输过程不够准确--------(CD)
  2. 教师网络预测存在的误差---------(GKD)
  3. 教师学生网络结构不同，用老师监督学生，可能找不到学生的优化空间----------（EDT）
1.Channel Distillation (CD)渠道蒸馏

图片
  wc是特征图第c个通道所有激活值的和，H、W是特征图的长宽。

  教师和学生的特征图大小不同，用1*1卷积核提升学生的维度。然后进行CD操作。

在这里插入图片描述
  定义CD，其中wij表示第i个样本对应的特征图第j个通道。

在这里插入图片描述

2.Guided Knowledge Distillation (GKD)知识引导蒸馏

  GKD是在KD（知识蒸馏）的基础上，只用教师预测正确的数据作为指导。

在这里插入图片描述

  KD（知识蒸馏）公式如上，T表示温度。用KL散度刻画学生和老师输出分布差距。

在这里插入图片描述
  其中I是指示函数。GKD只累计老师预测正确的样本。这是因为在一些训练集中，样本的类别高达上万个，普遍预测模型正确的概率也仅有25%左右，所以教师网络出错概率很大（不同数据集上检测结果不同，这里25%指JFT数据集的预测）。

在这里插入图片描述

3.Early Decay Teacher (EDT)早期教师的衰减

  教师网络监督学生网络训练，但在后期会一定程度的抑制学生学习，故需要慢慢衰减教师的监控力度。因子定义如下：

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.损失函数

  整合前面1，2，3部分得到总的损失函数：

在这里插入图片描述
在这里插入图片描述
  只衰减CD损失，其中GKD损失是正确的预测，故不衰减GKD。
在这里插入图片描述
  整个过程如下：
在这里插入图片描述
在这里插入图片描述

实验

  数据集：ImageNet,选取类1000个

  模型：ResNet18（学生），ResNet34（老师）
在这里插入图片描述
在这里插入图片描述
  数据集：CIFAR100,选取类100（个人感觉实验数据的分类较少）
  模型：ResNet152（学生），ResNet50（老师）
在这里插入图片描述
在这里插入图片描述

  数据集：ImageNet
  模型：ResNet152（学生），ResNet50（老师）

在这里插入图片描述
  结果达到了公认水平，出错率达到了最低。

论文地址：2020 Channel Distillation: Channel-Wise Attention for Knowledge Distillation.

星竹紫兰
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
基于Attention的通道知识蒸馏：channel-wise attention for knowledge distillation（论文解读+代码复现）
梁瑛平的博客
08-11 1049
基于Attention的通道知识蒸馏：channel-wise attention for knowledge distillation论文地址：代码地址：主要思路：具体实现：通道蒸馏：引导的知识蒸馏：衰减的蒸馏损失：实验结果：代码复现：CIFAR100Prepare DatasetTraining 论文地址： https://arxiv.org/abs/2006.01683 代码地址： https://github.com/zhouzaida/channel-distillation 主要思路： 本文提出
最新《知识蒸馏》2020综述论文（来自悉尼大学）
06-14
近年来，深度神经网络在工业和学术界取得了巨大的成功，特别是在视觉识别和神经语言处理方面的应用。深度学习的巨大成功，主要归功于其巨大的可扩展性，既有大规模的数据样本，也有数十亿的模型参数。
【知识蒸馏】Channel-wise Knowledge Distillation for Dense Prediction
呆呆的猫的博客
09-15 6667
论文链接：https://arxiv.org/pdf/2011.13256.pdf 代码链接：https://github.com/irfanICMLL/TorchDistiller MMDetection：https://github.com/pppppM/mmdetection-distiller MMSegmentation：https://github.com/pppppM/mmsegmentation-distiller 一、背景 密集预测是计算机视觉的一个重要基础，如语义分割和目标检测，这些任.
Channel Distillation: Channel-Wise Attention for Knowledge Distillation 原理与代码解析
00000cj的博客
04-29 1359
本文提出了一种新的知识蒸馏方法，通过通道蒸馏（Channel-Wise Distillation, CD）将知识传递给学生，以便学生可以更高效的提取特征。 为了避免教师模型的错误输出对学生的负面影响，提出了引导知识蒸馏（Guided Knowledge Distillation, GKD），只使用教师模型的正确输出来对学生模型进行监督。 最后，提出了Early Decay Teacher（EDT）在训练过程中逐步减小蒸馏损失的权重，确保学生模型可以找到自己的优化空间。
channel-wise卷积--学习笔记
oneself的博客
08-11 5133
channel-wise卷积--学习笔记
ChannelNets: 省力又讨好的channel-wise卷积，在channel维度进行卷积滑动 | NeurIPS 2018
晓飞的算法工程笔记
01-29 3301
Channel-wise卷积在channel维度上进行滑动，巧妙地解决卷积操作中输入输出的复杂全连接特性，但又不会像分组卷积那样死板，是个很不错的想法   来源：晓飞的算法工程笔记 公众号 论文: ChannelNets: Compact and Efficient Convolutional Neural Networks via Channel-Wise Convolutions 论文地址：https://arxiv.org/abs/1809.01330 论文代码：https://github..
【论文翻译_对抗攻击、知识蒸馏】AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge
qq_45128278的博客
02-21 1086
AGKD-BML: Defense Against Adversarial Attack by Attention Guided Knowledge Distillation and Bi-directional Metric Learning Hong Wang, Yuefan Deng, Shinjae Yoo, Haibin Ling, Yuewei Lin Stony Brook University, Stony Brook, NY, USA Brookhaven National Laborat
Knowledge-Distillation-NLP:NLP中知识蒸馏的一些演示
05-31
知识蒸馏 知识蒸馏（a.k.a Teacher-Student Model)旨在利用一个小模型（Student）去学习一个大模型（Teacher）中的知识， 期望小模型尽量保持大模型的性能，来减小模型部署阶段的参数量，加速模型推理速度，降低计算...
Teacher-free-Knowledge-Distillation:知识提炼
05-12
arxiv和CVPR2020中的论文有不同的标题：通过标签平滑正则化和重新访问知识蒸馏（CVPR）的无教师框架（arxiv）来重述知识蒸馏，我们将以正确的标题更新arxiv版本。 我们的工作表明：当神经网络过于强大而无法找到更...
mobile-yolov5-pruning-distillation:mobilev2-yolov5s剪枝，蒸馏，支持ncnn，tensorRT部署。超轻但性能更好！
03-19
移动式yolov5修剪蒸馏mobilev2-yolov5s的通道修剪和蒸馏。超轻但性能更好！ TensorRT版本===> Android版本===> 背景yolov5s在640x640分辨率下的计算量和参数量分别为8.39G和7.07M。在速度上仍然有提升空间，通过替换...
awesome-knowledge-distillation:很棒的知识提炼
04-01
很棒的知识提炼 =============================== 文件 ，LK Hansen，P。Salamon，1990年 ，安德烈斯·克罗格（Andres Krogh），杰斯珀·韦德尔斯比（Jesper Vedelsby），1995年 ，A。Blum，T。Mitchell，1998年 ，...
Knowledge-Distillation-Toolkit:基于PyTorch和PyTorch Lightning的知识蒸馏工具包
03-18
知识蒸馏工具包 该工具包使您可以使用知识提炼来压缩机器学习模型。要使用此工具包，您需要提供一个教师模型，一个学生模型，用于训练和验证的数据加载器以及一个推理管道。该工具包基于和 ，因此，教师模型和学生...
Channel-wise Knowledge Distillation for Dense Prediction阅读笔记
风行
12-28 3273
Channel-wise KD阅读笔记(一) Title(二) Summary(三) Research Object(四) Problem Statement(五) Method5.1 spatial distillation5.2 Channel-wise Distillation(六) Experiments6.1 实验设置6.2 和最近knowledge Distillation方法相比6.3 消融实验6.4 目标检测任务(七) Conclusion(八) Notes8.1 Dense Predict
知识蒸馏 综述 Knowledge Distillation: A Survey
doctor_strange****
04-26 9182
Knowledge Distillation: A Survey 本文译自Knowledge Distillation: A Survey，论文地址：https://arxiv.org/abs/2006.05525 （有翻译不周之处，敬请指正） 1. Introduction 深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。 为了使深度模型更加高效，主要有以下两个方向的研究： 高效的网络模块构建：如MobileNets, ShuffeNets .
【AAAI 2021】全部接受论文列表（五）
yinizhilianlove的博客
01-14 7373
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2021-01-14 马上春节了，疫情又卷土而来，希望大家注意防护，爱护自己的身体 AAAI 2021论文接收情况   人工智能顶级会议AAAI 2021 已经给出接收论文列表，共有1692篇论文被接收，录取率21%，比去年的20.6%稍微有些上升。单从数量上看，也比去年多了101篇。本届 AAAI 2021已经是第35 届会议了。据 AAAI 2021官方网站，这个 2021年首个人工智能顶会将全.
Knowledge Distillation（知识蒸馏）Review--20篇paper回顾
zenRRan的博客
01-26 1509
点击上方，选择星标或置顶，每天给你送干货！作者 |傅斯年Walton地址 |https://zhuanlan.zhihu.com/p/160206075编辑 |机器学习算法与自然语...
蒸馏论文二（Attention Transfer）
蓝鲸鱼的博客
08-02 1400
本系列文章介绍一些知识蒸馏领域的经典文章。 知识蒸馏：提取复杂模型有用的先验知识，并与简单模型特征结合算出他们的距离，以此来优化简单模型的参数，让简单模型学习复杂模型，从而帮助简单模型提高性能。 1. Attention Transfer原理 论文Paying more attention to attention主要通过提取复杂模型生成的注意力图来指导简单模型，使简单模型生成的注意力图与复杂模型相似。这样，简单模型不仅可以学到特征信息，还能够了解如何提炼特征信息。使得简单模型生成的特征更加灵活，不局限于复
tensorflow——attention机制(Spatial and Channel-Wise Attention )
nbawj的博客
06-03 9320
论文SCA-CNN的tensorflow代码实现（保存下来）：论文：SCA-CNN: Spatial and Channel-Wise Attention in Convolutional Networks for Image Captioning""" Attention Model: WARNING: Use BatchNorm layer otherwise no accur...
minilm: deep self-attention distillation for task-agnostic compression of pr
最新发布
01-24
minilm的深度自注意力蒸馏技术有效地减少了模型的参数数量，并且通过蒸馏过程中引入的知识蒸馏损失，使得压缩后的模型能够保持原始模型的预测能力。这种任务无关的压缩技术可以应用于各种不同的自然语言处理任务，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值