Mutual Learning 互学习(DML) / collaborative learning 协作学习

最新推荐文章于 2023-03-03 20:11:33 发布
最新推荐文章于 2023-03-03 20:11:33 发布
阅读量6.9k 收藏 4
点赞数 5
文章标签： 知识蒸馏 模型压缩 互学习 协作学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hxxjxw/article/details/115296036
版权

DML是 deep mutual learning 深度互学习

 

Mutual Learning是从Knowledge Distillation知识蒸馏中发展出的一个概念

蒸馏模型是一种将知识从教师网络（teacher）传递到学生网络（student）的有效且广泛使用的技术。通常来说，蒸馏模型是从功能强大的大型网络或集成网络转移到结构简单，运行快速的小型网络。深度互学习DML决定打破这种预先定义好的“强弱关系”，提出了一种相互学习策略，在此策略中，一组学生网络在整个训练过程中相互学习、相互指导，而不是静态的预先定义好教师和学生之间的单向转换通路。作者通过在CIFAR-100和Market-1501数据集上的实验，表明DML网络在分类和任务重识别任务中的有效性。更重要的是，DML的成功揭示了没有强大的教师网络是可行的，相互学习的对象是由一个个简单的学生网络组成的集合。

 

互学习是没有teacher model的

 

 

 

hxxjxw
关注
  • 5
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
知识蒸馏论文精选——《Mutual teaching for graph convolutional networks》
qq_44699157的博客
05-16 1447
知识蒸馏论文精选，可用于组会汇报，论文阅读等。
【DML】Deep Mutual Learning 深度相互学习，神经网络也可以协作
Joselynzhao
07-22 2553
Deep Mutual LearningAbstract1. Introduction2. Related WorkModel DistillationCollaborative Learning3. Deep Mutual Learning3.1. Formulation3.2. Optimisation3.3. Extension to Larger Student Cohorts3.4. Extension to Semi-supervised Learning5. Conclusion 论文：h.
两个向量间的互信息 Mutual information
03-17
Mutual information可计算出两列向量之间的互信息，代码内有详细的注释，是信息理论领域常用的函数。
论文解读《Deep Mutual Learning》
qq_46031969的博客
03-03 930
论文解读《Deep Mutual Learning》
Deep Mutual Learning
weixin_30765319的博客
03-03 428
论文地址: https://arxiv.org/abs/1706.00384 论文简介 该论文探讨了一种与模型蒸馏(model distillation)相关却不同的模型---即相互学习(mutual learning)。 蒸馏从一个强大的大型预训练教师网络开始，并向未经训练的小型学生网络进行单向知识转移。 相反，在相互学习中，我们从一群未经训练的学生网络开始，他们同时学习一起解决任务。 具体来说...
Collaborative Deep Learning
ChristineC_的博客
02-24 1032
作者：Hao Wang, Naiyan Wang, Dit-Yan Yeuing 时间：2015.06.18 Abstract: CDL是一个hierarchical Bayesian model，从content information中学到特征，从rating matrix中学到items、users之间的关系和相似度。文中使用SDAE（stacked denoising auto...
【阅读笔记】Deep Mutual Learning
靓仔博客
03-10 2124
模型蒸馏是一种有效且广泛使用的技术，可将知识从教师网络转移到学生网络。典型的应用是从强大的大型网络或集成转移到小型网络，以满足低内存或快速执行的要求。在本文中，我们提出了一种深度相互学习（DML）策略。与模型蒸馏中静态预定义教师和学生之间的单向迁移不同，使用 DML，学生的集合在整个训练过程中协作学习并互相教授。我们的实验表明，各种网络架构都受益于相互学习，并在类别和实例识别任务上都取得了令人信服的结果。令人惊讶的是，它表明不需要先前强大的教师网络 - 一组简单的学生网络的相互学习工作，而且优于来自更强大但
Collaborative Deep Learning for Recommender Systems
Coldplay
10-07 5072
前言 最近在读关于推荐系统的paper发现很多优质的paper都是英文的，而且有很多新的不太熟悉的知识，所以希望将这些paper小小的翻译(其实说不上是翻译，大多数部分用英文表达其实很容易理解)一下，顺便搞懂一些不太明白的知识点，还有因为本人的英文数学还有机器学习的知识都很渣，所以很多地方只能靠自己理解来写，有不正确的地方敬请指出，谢谢。 另附paper的下载地址：https://arxiv.
论文笔记: Mutual Learning to Adapt for Joint Human Parsing and Pose Estimation
a1424262219的博客
11-03 755
Mutual Learning to Adapt for Joint Human Parsing and Pose Estimation 2018-11-0309:58:58 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Xuecheng_Nie_Mutual_Learning_to_ECCV_2018_...
learning-kubernetes：学习Kubernetes ServiceMesh Istio
02-05
**Kubernetes ServiceMesh Istio 学习指南** 在现代云原生环境中，Kubernetes（简称k8s）已经成为容器编排的事实标准，而ServiceMesh作为微服务治理的重要工具，为解决服务间的通信复杂性提供了强大的解决方案。...
huxinxi.rar_mutual information_互信息
09-19
互信息（Mutual Information, MI）是信息论中的一个核心概念，它衡量的是两个随机变量之间的相互依赖程度。在IT领域，尤其是数据挖掘、机器学习和信号处理中，互信息被广泛应用于特征选择、模式识别以及通信系统的...
matlab的egde源代码-Deep-Mutual-Learning:深度学习的TensorFlow实现
05-21
深度相互学习提供了一种简单而有效的方法，可以通过与其他网络群组进行协作培训来提高网络的泛化能力。 要求 TensorFlow 1.3.1 CUDA 8.0和cuDNN 6.0 Matlab的 用法 资料准备 请下载 将图像数据转换为TFRecords sh ...
Learning deep representations by mutual information estimation a
08-03
"Learning deep representations by mutual information estimation and maximization"这篇论文探讨了如何通过最大化输入与深度神经网络编码器输出之间的互信息（Mutual Information, MI）来实现无监督特征学习。...
Deep Mutual Learning论文阅读笔记
Jadelyw的博客
06-22 7193
摘要模型蒸馏是将知识从教师模型传给学生模型有效且被广泛使用的技术，典型的应用就是将一个很大并且能力很强的网络中集成到一个比较小的网络中，因为小的网络更加满足低存储和高效率的要求。在本文中，我们提出一种深度相互学习策略，在训练的过程中学生网络和教师网络可以相互合作学习，而不是单方向的学生从教师那里学习。我们的实验表明各种网络架构都能够从相互学习策略中受益，并且在CIFAR-100和行人重识别数据集M...
(论文阅读笔记1)Collaborative Metric Learning(一)（WWW2017）
chunyun0716的专栏
07-31 2858
一、摘要    度量学习算法产生的距离度量捕获数据之间的重要关系。这里，我们将度量学习和协同过滤联系起来，提出了协同度量学习（CML），它可以学习出一个共同的度量空间来编码用户偏好和user-user 和 item-item的相似度。二、背景2.1 Metric Learning     令χ={x1,x2,…,xn}\chi = \{x_1, x_2,\dots, x_n\}是空间Rm\mathb
文献阅读——（第十二篇）Deep Mutual Learning
weixin_37799689的博客
05-31 572
一、文献梳理 1、文献背景 2、研究成果 1）模型意义 2）实验及其结果 二、文献核心思想 三、文献重点
深度学习中模型之间的相互约束DML
xiaobaiguigui的博客
09-24 816
原参考论文：(https://openaccess.thecvf.com/content_cvpr_2018/papers/Zhang_Deep_Mutual_Learning_CVPR_2018_paper.pdf) 该论文中的源代码： (https://github.com/chxy95/Deep-Mutual-Learning) 这个论文研究的本质是个图像分类任务，两个网络做分类，然后相互约束，提出了与传统的模型蒸馏不一样的方法，但息息相关，即基于模型蒸馏的相互学习方法DML。实验的目的主要是通过对各
Deep Mutual Learning复现
最新发布
07-27
Deep Mutual Learning是一种用于训练小型但强大的深度神经网络的方法。它与传统的模型蒸馏有所不同，但相关。在Deep Mutual Learning中，我们从一群未经训练的学生网络开始，它们同时学习共同解决任务。每个学生接受两种损失的训练：传统的监督学习损失和模仿损失。模仿损失的目的是使每个学生的类后验概率与其他学生的类概率保持一致。通过这种方式的训练，每个学生在同伴教学的环境中的学习效果明显优于在传统的监督学习环境中独自学习。此外，相互学习的学生网络比通过大型预训练教师进行传统蒸馏训练的学生取得更好的结果。这表明，相互学习策略具有普遍适用性，可以应用于不受模型大小限制且只关注识别精度的应用场景。如果你想了解更多关于Deep Mutual Learning的内容，你可以查看论文\[3\]。 #### 引用[.reference_title] - *1* [【阅读笔记】Deep Mutual Learning](https://blog.csdn.net/qq_29260257/article/details/123401476)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [论文解读《Deep Mutual Learning》](https://blog.csdn.net/qq_46031969/article/details/129321595)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值