20-CVPR-Distilling Knowledge from Graph Convolutional Networks

最新推荐文章于 2023-03-29 09:49:11 发布
最新推荐文章于 2023-03-29 09:49:11 发布
阅读量459 收藏 1
点赞数
分类专栏： 论文阅读 迁移学习 文章标签： 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BLvren_/article/details/120450773
版权

知识蒸馏

知识蒸馏指的是模型压缩的思想，通过将预先训练的繁琐网络作为教师模型，知识蒸馏的目的是学习一个紧凑的学生模型，期望通过转移教师的知识来掌握教师的专业知识。
KD在15-nipsworskshop-Distilling the knowledge in a neural network.被首先提出。
KD主要有两条技术路线：label smoothing和feature distillation，前者利用teacher模型的输出分布作为一个平滑的label来训练student,后者利用中间表达的语义信息。

knowledge type

response-based knowledge: 教师网络的最后一层的神经反应，思想也就是模仿教师网络的最后预测。
Feature-based knowledge: 网络中间层输出的intermediate representation。直接匹配师生网络的feature activations, 或者直接匹配feature
Relation-Based Knowledge: 进一步探索了不同层或不同数据样本之间的关系。

Distillation Schemes

offline distillation: 大多数KD都是offline的，teacher网络是pre-train的
online distillation: 特别是在大规模的高性能的teacher网络不可用的情况下。online蒸馏中，师生网络同时更新

最低0.47元/天 解锁文章
BLvren_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图卷积网络Graph Convolutional Network（GCN）的理解和详细推导.pdf
06-11
图卷积网络 GCN Graph Convolutional Network（谱域GCN）的理解和详细推导博客pdf 原博客链接：https://blog.csdn.net/yyl424525/article/details/100058264#comments_12499724
Distilling Knowledge from Graph Convolutional Networks
进击的小老虎丶
06-04 359
现有的知识蒸馏方法主要集中在卷积神经网络（CNN）上，其中像图像这样的输入样本位于网格域中，而在很大程度上忽略了处理非网格数据的图卷积网络（GCN）。在本文中，我们提出了第一种专门从预先训练的GCN模型中提取知识的方法。为了实现从教师GCN到学生的知识转移，我们提出了一个局部结构保持模块，该模块明确说明了教师的拓扑语义。在本文中，教师和学生的局部结构信息都被提取为分布，因此，最小化这些分布之间的距离可以实现拓扑感知知识转移。产生一个紧凑但高性能的学生模型。此外，所提出的方法很容易扩展到动态图模型，其中教师和
论文阅读：Distilling Knowledge from Graph Convolutional Networks（CVPR2020）
qq_39710087的博客
04-03 3933
论文阅读：Distilling Knowledge from Graph Convolutional Networks（CVPR2020） 目录论文阅读：Distilling Knowledge from Graph Convolutional Networks（CVPR2020） @[TOC](目录)AbstractIntroduction相关工作方法GCNMotivationLocal Structure Preserving(LSP)核函数动态图实验比较方法节点分类3D对象识别结构可视化消融和性能研究
图卷积网络(Graph Convolutional Networks, GCN)详细介绍
热门推荐
qq_43787862的博客
02-17 8万+
本文翻译自博客。 在这篇博文中会为大家详细地介绍目前使用广泛的图神经网络——图卷积网络(Graph Convolutional Networks, GCN)的相关知识。首先将带领大家直觉上感受其工作原理，然后再介绍更深层的数学原理。 为什么要使用图(Graph)？ 很多问题在本质是都可以表示为图的形式。在真实世界中，我们会发现很多数据其实是以图的形式存在的，比如分子网络，社交网络以及论文引用网络等等。 基于图的任务 针对图数据，通常有以下几种比较常见的任务类型： 结点分类(Node classificat
论文阅读《Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning》
m0_71014828的博客
06-09 738
论文标题：Multi-Scale Contrastive Siamese Networks for Self-Supervised Graph Representation Learning 论文作者：Ming Jin,Yizhen Zheng,Yuan-Fang Li,Chen Gong,Chuan Zhou，Shirui Pan 论文来源： 2021，IJCAI 论文地址：download 论文代码：download问题：现有的图表示学习技术严重依赖标记信息。 解决：本文提出了一种新的自监督方法，通过多
Distilling-Object-Detectors:CVPR 2019 论文 Distilling Object Detectors with Fine-grained Feature Imitation 的实现
07-24
我们的 CVPR 2019 论文 Distilling Object Detectors with Fine-grained Feature Imitation 的实现 我们提出了一种基于锚点的对象检测模型的通用蒸馏方法，以利用大型教师模型的知识获得增强的小型学生模型，该模型...
Nvidia jetson-inference Hello AI World Networks — FCN-Alexnet-SYNTHIA-CVPR16.zip
05-18
Nvidia jetson-inference Hello AI World Networks Packages
Python-CVPR2019CVPR20182017论文源码汇总项目
08-10
cvpr2019／cvpr2018/cvpr2019 papers，极市团队整理
TDAN-VSR-CVPR-2020:丹丹
04-30
TDAN-CVPR 2020（保持更新） 这是TDAN的官方Pytorch实施：用于视频超分辨率的临时变形对准网络。|用法主要依赖项：Python 3.6和Pytorch-0.3.1（ ） $ git clone https://github.com/YapengTian/TDAN-VSR$ compile ...
2017-cvpr-《Interspecies Knowledge Transfer for Facial Keypoint Detection》数据集
06-03
2017-cvpr-《Interspecies Knowledge Transfer for Facial Keypoint Detection》数据集
【综述】2021-Knowledge Distillation: A Survey
简单记录生活、学习
03-29 581
本文来源于：
知识蒸馏 （一） 综述
weixin_41386168的博客
04-15 2035
综述 《Knowledge Distillation: A Survey》2021 《Knowledge Distillation: A Survey》 - 知乎 《Knowledge Distillation and Student-Teacher Learning for Visual Intelligence: A Review and New》[论文翻译]Knowledge Distillation and Student-Teacher Learning for Visual Intellig
知识蒸馏小结
A2321161581的博客
03-17 416
蒸馏学习以及自蒸馏的几种研究方法
图卷积网络（Graph Convolution Network，GCN）
weixin_44458771的博客
02-16 1万+
在图神经网络出现之前，一般的神经网络只能对常规的欧式数据进行处理，其特点就是节点有固定的排列规则和顺序，如２维网格和１维序列。近几年来，将深度学习应用到处理和图结构数据相关的任务中越来越受到人们的关注。图神经网络的出现使其在上述任务中取得了重大突破，比如在社交网络、自然语言处理、计算机视觉甚至生命科学等领域得到了非常广泛的应用。图神经网络可以把实际问题看作图中节点之间的连接和消息传播问题，对节点之间的依赖关系进行建模，从而能够很好地处理图结构数据。
GCN (Graph Convolutional Network) 图卷积网络
rocking_struggling的博客
09-01 2175
这几个同时看一下，感觉能理解不少： B站视频：https://www.bilibili.com/video/BV1ta4y1t7EK GCN论文原文和代码：https://github.com/tkipf/gcn （代码另有pytorch版本的，也很方便理解） 本文转载的博客：https://blog.csdn.net/weixin_36474809/article/details/89316439 以下是主要转载内容： 目的：图卷积网络近两年大火，博主实习需要用
图卷积网络（Graph Convolutional Network）
lijunweiyhn的博客
02-25 2万+
转载+整理：https://blog.csdn.net/qq_41727666/article/details/84622965 序 — 图简介，图卷积网络的出现。 图（graph）是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连边表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络的出现为这些...
Distilling Holistic Knowledge with Graph Neural Networks论文解读
weixin_46782905的博客
09-19 1148
这是一篇ICCV2021的文章，提出了一种新的知识蒸馏方式(Holistic Knowledge Distillation) 原文链接 代码链接 Figure 1为Individual、Relational、Holistic Knowledge Distillation三种不同的知识蒸馏方式的区别，由于本人对知识蒸馏的理解仅限于KL散度和蒸馏温度，因此这里不展开介绍这几种蒸馏方式。 先验知识 给定一个从K类数据集中采样得到的X={x1,x2,...xN}X=\{x_1,x_2,...x_N\}X={x1.
【论文翻译_知识蒸馏】Distilling Holistic Knowledge with Graph Neural Networks
qq_45128278的博客
03-03 1210
（以下的“提取”都可以替换为“蒸馏”） 摘要 知识提炼（KD）旨在将知识从一个更大的优化教师网络转移到一个更小的可学习学生网络。现有的知识发现方法主要考虑了两类知识，即个体知识和关系知识。然而，这两类知识通常是独立建模的，而它们之间的内在关联在很大程度上被忽略。充分利用学生网络学习，在保留其内在相关性的同时，整合个人知识和关系知识是至关重要的。在本文中，我们提出了基于实例间构造的属性图来提取新的整体知识。整体知识表示为一个统一的基于图的嵌入，通过使用图神经网络聚合关系邻域样本中的个体知识，通过对比方式提取.
Graph Convolutional Network (图卷积GCN)
nakaizura
10-25 3304
目标：为了解决非规则数据结构 — 学习图上特征映射 直觉上想要找到构图结点的特征，一定是与其相关的结点、连接的边有关。那么就直接把每个顶点比如1号结点相邻的结点找出来，虽然相邻的个数可能不一样，设个最大值，然后类似onehot一下，变成统一维度来做不就ok了？但是这样做的缺点在于，必须每个顶点都处理，而且而且而且效果一般。 但是我们有图论，甚至还有拓扑学！ 对于一个图G=(V,E)，laplac...
FileExistsError: [Errno 17] File exists: '/home/stu/cqq/RGBTCC-main/datasets/RGBT-CC-CVPR2021/new_trian_depth_384'
最新发布
06-08
这个错误是因为在创建一个名为`new_train_depth_384`的文件夹时，发现同名的文件夹已经存在了。你可以通过以下几种方式解决这个问题： 1. 修改代码以避免重复创建同名的文件夹。 2. 删除已存在的同名文件夹，然后...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值