Correlation Congruence for Knowledge Distillation

最新推荐文章于 2021-09-08 10:56:24 发布
最新推荐文章于 2021-09-08 10:56:24 发布
阅读量750 收藏
点赞数 1
分类专栏： Knowledge Distillation 深度学习 论文学习笔记 文章标签： Knowledge Distillation
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013010889/article/details/103075752
版权

Motivation

目前大多数KD框架的pipeline

  • 一张图片送入teacher和student得到各自的feature和output
  • 然后定义loss，拉进feature或者output的距离
    但是他们都是直接在一个整图级别上做的，student很难学习到teacher的那种处理类内和类间的能力

如下图：白色空心圈是期望学习到的效果

左边是期望类间可以拉开，右边是期望类内可以聚拢
在这里插入图片描述

Method

首先得到teacher和student的特征图
在这里插入图片描述
然后定义mapping函数计算特征之间的相关性矩阵correlation matrix，注意teacher和student是各自分开计算，而不是互相计算相关性
在这里插入图片描述
在这里插入图片描述
C就变成了一个nxn的矩阵
在这里插入图片描述
Lcc即计算相关性矩阵的L2 距离
在这里插入图片描述

Correlation matrix的计算

在这里插入图片描述
对比于MMD和Bilinear Pool，Gaussian RBF更加灵活和具有非线性能力，因此本文选择Gaussian RBF
在这里插入图片描述

Experiments

在这里插入图片描述

爆米花好美啊
关注
专栏目录
【样本间关系知识蒸馏】CVPR 2019：Correlation Congruence for Knowledge Distillation
梁瑛平的博客
08-23 492
【样本间关系知识蒸馏】CVPR 2019：Correlation Congruence for Knowledge Distillation论文地址：代码地址：主要问题：主要思路：具体实现：基本符号：基于关系的蒸馏：Distance-wise distillation loss：Angle-wise distillation loss：实验结果： 论文地址： https://arxiv.org/abs/1904.05068 代码地址： https://github.com/lenscloth/RKD/ 主要
[读论文][backbone][DiffKD] Knowledge Diffusion for Distillation
计算机视觉
06-13 655
此外，为了证明我们在消除教师和学生特征之间差异方面的有效性，我们还在具有更先进的教师模型的更强的教师设置上实现了DiffKD，并且我们的方法显着优于现有方法。我们的经验表明，这个简单的去噪过程可以生成一个去噪的学生特征，该特征与相应的教师特征非常相似，从而确保我们的蒸馏可以以更一致的方式执行。值得注意的是，我们的方法DiffKD的优点之一是特征不可知，知识扩散可以应用于不同类型的特征，包括中间特征、分类输出和回归输出。[17]通过学习识别有助于任务精度的接受区域，提取特征中有价值的信息，忽略噪声区域。
【KD】Correlation Congruence for Knowledge Distillation
凹酱的DEEP LEARNING
09-30 1725
Paper： Correlation Congruence for Knowledge Distillation 1, Motivation： 通常情况下KD的teacher模型的特征空间没考虑类内类间的分布,student模型也将缺少我们期望的类内类间的分布特性。 Usually, the embedding space of teacher possesses the charac...
蒸馏法文章选读——Correlation Congruence for Knowledge Distillation
Eva_Hua的专栏
05-06 2448
7, Correlation Congruence for Knowledge Distillation https://arxiv.org/abs/1904.01802 1)，创新点：原始的蒸馏法只是用学生网络的某个向量去拟合教师网络的该向量，无论是kl散度还是欧式距离，只是向量之间的映射；但是由于教师网络和学生网络本来的差异性，所以不应该仅仅学习教师网络和学生网络单个样本向量间差异，还应该...
Correlation Congruence for Knowledge Distillation （2019 ICCV）----阅读笔记
落了一地秋的博客
09-08 710
Correlation Congruence for Knowledge DistillationAbstractIntrodution2.Related Work3.CCKD3.1 3.1. Background and Notations3.2. Knowledge Distillation3.3. Correlation Congruence3.4. Generalized kernel-based correlation3.5. Strategy for Mini-batch Sampler具体采样
【今日CV 计算机视觉论文速览 第94期】 4 Apr 2019
TomRen
04-05 7029
第94期 视觉论文速览 点云合并 文字亲和力 行车记录仪数据集 高光谱
ICCV 2019几篇自己感兴趣的论文阅读
Hungryof的专栏
11-21 1462
总说 只是随意看了看名字，下载了几篇论文读读，方向很局限。（待更新，最近更新 2019-11-21） Content and Style Disentanglement for Artistic Style Transfer
Neighborhood Correlation Analysis for Semi-paired Two-View Data
02-09
Canonical correlation analysis (CCA) is a widely used technique for analyzing two datasets (two views of the same objects). However, CCA needs that the samples of the two views are fully-paired. ...
The Generalized Correlation Method for Estimation of Time Delay
04-14
《广义互相关法在时延估计中的应用》 时延估计是信号处理领域中的一个核心问题，尤其在多传感器系统、通信系统以及雷达探测等领域中具有重要意义。本文重点探讨了一种通用化的互相关方法，用于在独立噪声存在的情况...
模型加速一:知识蒸馏(Knowledge Distillation)
qq_36086861的博客
03-08 3398
一 背景 知识蒸馏（KD）是想将复杂模型（teacher）中的dark knowledge迁移到简单模型（student）中去，一般来说，teacher具有强大的能力和表现，而student则更为紧凑。通过知识蒸馏，希望student能尽可能逼近亦或是超过teacher，从而用更少的复杂度来获得类似的预测效果。Hinton在Distilling the Knowledge in a Neural...
Knowledge Distillation(1)——入门&开山之作
judgechen1997的博客
09-19 3302
Knowledge Distillation 概述研究背景定义（知识蒸馏是什么？）开山之作1. Introduction2. Distillation 研究背景 对于机器学习的模型，我们往往在训练和部署时使用着极其相似的模型，尽管这两个阶段明显有着不同的需求：训练时可以使用一个巨大的数据集去训练一个很深的模型，并占用大量的计算资源，以期达到最好的效果；然而在实际应用时，却又对计算时间和计算资源特...
ECCV 2020 论文汇总（注意力模型、事件相机、知识蒸馏、图像去雾去雨去噪、图像超分辨率、语义分割，等方向）
u014546828的博客
07-07 8203
ECCV 2020 论文汇总 （注意力模型、事件相机、知识蒸馏、图像去雾去雨去噪、图像超分辨率、语义分割，等方向） [oral, spotlight] [Post] [Dehazing] [Enhancement] [Dinoising] [Deraining] [Event] [Attention] [Super-Resolution] [Wavelet] [Bayesian] [Semantic Segmentation] [Distillation] [...
Tutorial: Knowledge Distillation
Sundrops的专栏
11-14 747
概述 Knowledge Distillation(KD)一般指利用一个大的teacher网络作为监督，帮助一个小的student网络进行学习，主要用于模型压缩。 其方法主要分为两大类 Output Distillation Feature Distillation Output Distillation Motivation 主要拉近teacher和student最终输出的距离，参考论文：...
OpenCV、Skimage、PIL图像处理的细节差异
热门推荐
Sundrops的专栏
01-11 4万+
上一篇博客中介绍了caffe实现多label输入，其中有一些图片处理的操作（训练验证数据），当时我选择了PIL库，但是在测试中用了caffe官网demo的代码，它使用了caffe提供的一些python接口，而它调用的是skimage这个库，所以有些许差异，可能会带来精度上的一些影响。这篇博客先介绍一下这些库的差异，下篇博客介绍测试时可能出现的小错误 PIL(RGB) 首先介绍PIL...
faster rcnn源码解析
Sundrops的专栏
11-20 3万+
之前一直是使用faster rcnn对其中的代码并不是很了解，这次刚好复现mask rcnn就仔细阅读了faster rcnn，主要参考代码是pytorch-faster-rcnn ，部分参考和借用了以下博客的图片 [1] CNN目标检测（一）：Faster RCNN详解 姊妹篇mask rcnn解析 整体框架 首先图片进行放缩到W*H，然后送入vgg16(去掉...
光流介绍以及FlowNet学习笔记
Sundrops的专栏
05-04 3万+
FlowNet: Learning Optical Flow with Convolutional Networks pdf与相关代码: https://lmb.informatik.uni-freiburg.de/resources/binaries/ 光流(Optical Flow)介绍 1. 光流原理 光流分为稀疏光流和稠密光流，稀疏光流就是只计算图片中特定点的光...
FPN解读
Sundrops的专栏
11-29 2万+
前两篇博客中都说到了FPN这个神器，今天就花了点时间看了下这篇论文，喜欢这个很赞很干净的结构。
CapsuleNet解读
Sundrops的专栏
12-05 2万+
最近hinton很早就提出了一个结构名为capsule，旨在解决cnn的固有缺点，本文是第一篇实现hinton capsule结构的论文Dynamic Routing Between Capsules，本文很大程度上翻译自“Understanding Dynamic Routing between Capsules (Capsule Networks)” 代码来自: XifengGuo Cap
correlation networks for extreme multi-label text classification
最新发布
09-18
极度多标签文本分类是指将一个文本样本分类到多个标签中，而且标签的数量非常庞大。由于标签的种类多样且数量巨大，传统的文本分类方法难以满足这种需求，因此出现了基于相关性网络的方法。 相关性网络是一种用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值