Deep Mutual Learning论文初读

最新推荐文章于 2024-08-25 09:48:58 发布
最新推荐文章于 2024-08-25 09:48:58 发布
阅读量684 收藏 5
点赞数
文章标签： 知识蒸馏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37665984/article/details/103328676
版权
本文介绍了一种深度互学习（Deep Mutual Learning）的策略，学生网络之间相互学习并彼此模仿，即使没有强大的teacher网络，也能实现性能提升。通过在监督学习损失外增加类别后验概率分布对齐的损失，各学生网络能更好地优化参数，提高泛化能力。实验证明，这种方法在多种网络架构和任务上有效，特别是在行人识别和图像分类问题上，优于传统的知识蒸馏方法。
摘要由CSDN通过智能技术生成

目录

摘要

引言

深度互学习

  简洁陈述

  优化

  扩展到多个student之间的学习

实验

  数据集和配置

  Market-1501结果

  和知识蒸馏方法的比较

  更多的student

  为什么有效

结论

摘要

提出一种互学习策略，在这种策略下学生相互学习并且相互知道

互学习的学生网络在没有强大的teacher网络下，仍然可以超过一个强大teacher网络

引言

  • 小网络是可行的

小网络可以有和大网络一样的表达能力

小网络训练困难，不容易找到合适的参数和需要的函数

以上两点说明限制在于优化，而不是网络的大小

而小网络可以从teacher中学习类别概率或者中间层的特征，实验表明，这些信息可以帮助小网络更好的训练出合适的参数，从而解决小网络难以优化的问题

  • 互学习策略

作者提出了一种互学习的策略，在这种策略下，student之间互相学习来共同解决面对的任务

每个student有两个loss：

  1.传统的监督学习loss

  2.将student的类别后验概率和其他student的类别概率分布对齐的loss

这样训练不仅好于传统的监督学习loss，而且好于常规的蒸馏方法（从强大的teacher中学习隐藏信息）

而且常规的蒸馏方法需要一个强大的老师，但是在这种策略下，与独立学习相比，就算没有老师，几个大型网络的相互学习也可以提高性能 

  • 为什么有效

在监督loss下，所有的student都预测了同样的类别，那么关于哪个类别是第二大概率类别，由于没有label，所以每个student都有自己的看法，正是这种信息给了知识蒸馏和互学习额外的信息。

在互学习中，students之间对每个样本实例相互讨论并统一出一个最可能的类别，这增加了每个student的后验熵（这是个什么玩意），它可以帮助student学习到一个更优的最小值，并提升他们的泛化能力

这与最近研究网络鲁棒性的高后验熵类似，但是本文提出的方法是一种比盲熵正则（又是什么玩意）更明智的做法

  • 总结

用几个小网络，而没有大网络的存在，这使得训练更快

适用于很多网络框架，异质地互学习一个大网络和一个小网络也是有效的

大网络互相学习也是有效的

小网络的总和，也可以看成一个单独的有效的集成模型

  • 对比

关于在NLP中的对偶学习，但这只能用在针对的翻译问题中，本文的方法可以应用到普通的分类问题

传统上，认为嵌入更多的多样性是比较好的，而互学习中，由于s

最低0.47元/天 解锁文章
待墨痕干
关注
最优传输论文（四十六）：Mutual Learning Network for Multi-Source Domain Adaptation论文原理
lyy的博客
01-25 734
文章目录前言摘要1. Introduction2. Related Work3. Mutual Learning Network for MSDA3.1. Conditional Adversarial Feature Alignment3.2. Semi-Supervised Prediction Loss3.3. Guidance Network Centered Mutual Learning3.4. Overall Learning Problem and Prediction4. Experime
深度互学习-Deep Mutual Learning：三人行必有我师
深度学习大讲堂
06-27 4918
编者按：更高性能的深度神经网络往往伴随着愈加庞大的参数量，而大量的计算需求使其难以部署在移动端。为此，精巧的网络结构设计（如MobileNet、ShuffleNet）、模...
【阅读笔记】Deep Mutual Learning
靓仔博客
03-10 2201
模型蒸馏是一种有效且广泛使用的技术，可将知识从教师网络转移到学生网络。典型的应用是从强大的大型网络或集成转移到小型网络，以满足低内存或快速执行的要求。在本文中，我们提出了一种深度相互学习（DML）策略。与模型蒸馏中静态预定义教师和学生之间的单向迁移不同，使用 DML，学生的集合在整个训练过程中协作学习并互相教授。我们的实验表明，各种网络架构都受益于相互学习，并在类别和实例识别任务上都取得了令人信服的结果。令人惊讶的是，它表明不需要先前强大的教师网络 - 一组简单的学生网络的相互学习工作，而且优于来自更强大但
深度互助学习（Deep Mutual Learning）：一种高效训练模型的开源实现
gitblog_00058的博客
08-23 438
深度互助学习（Deep Mutual Learning）：一种高效训练模型的开源实现 Deep-Mutual-LearningTensorFlow Implementation of Deep Mutual Learning项目地址:https://gitcode.com/gh_mirrors/de/Deep-Mutual-Learning 项目介绍 深度互助学习(Deep Mutual Lea...
【DML】Deep Mutual Learning 深度相互学习，神经网络也可以协作
Joselynzhao
07-22 2629
Deep Mutual LearningAbstract1. Introduction2. Related WorkModel DistillationCollaborative Learning3. Deep Mutual Learning3.1. Formulation3.2. Optimisation3.3. Extension to Larger Student Cohorts3.4. Extension to Semi-supervised Learning5. Conclusion 论文：h.
论文解读《Deep Mutual Learning》
qq_46031969的博客
03-03 1203
论文解读《Deep Mutual Learning》
Deep Mutual Learning
小闹钟的机器学习时间
12-31 844
这个方法还挺有意思的，从某些方面来说也可以算是multi-teacher multi-student。 摘要 模型蒸馏是一个有效的且广泛使用的可以在老师网络和学生网络间传递知识的技术。典型的应用模式是从一个效果拔群的大网络或者集成传递知识到小网络，这种更适合于内存较少或者需要快速执行的情况。在这个论文中，我们提出了一个深度相互学习（DML）策略，不像在预设的老师和学生间传递知识，而是一堆学生的集...
【知识蒸馏】Deep Mutual Learning
pprp的博客
11-16 1308
【GiantPandaCV导语】Deep Mutual Learning是Knowledge Distillation的外延，经过测试（代码来自Knowledge-Distillation-Zoo), Deep Mutual Learning性能确实超出了原始KD很多，所以本文分析这篇CVPR2018年被接受的论文。同时PPOCRv2中也提到了DML，并提出了CML，取得效果显著。 引言 首先感谢：https://github.com/AberHu/Knowledge-Distillation-Zoo 笔者
matlab的egde源代码-Deep-Mutual-Learning:深度学习的TensorFlow实现
05-21
matlab的egde源代码深度学习 TensorFlow的实现被CVPR 2018接受。 介绍 深度相互学习提供了一种简单...如果您发现DML对您的研究有用，请引用我们的论文： @inproceedings{ying2018DML, author = {Ying Zhang and Tao Xi
Deep Mutual Learning复现
07-27
如果你想了解更多关于Deep Mutual Learning的内容，你可以查看论文\[3\]。 #### 引用[.reference_title] - *1* [【阅读笔记】Deep Mutual Learning](https://blog.csdn.net/qq_29260257/article/details/123401476)...
Mutual Learning 互学习(DML) / collaborative learning 协作学习
hxxjxw的博客
03-29 7417
DML是deep mutual learning 深度互学习 Mutual Learning是从Knowledge Distillation知识蒸馏中发展出的一个概念 蒸馏模型是一种将知识从教师网络（teacher）传递到学生网络（student）的有效且广泛使用的技术。通常来说，蒸馏模型是从功能强大的大型网络或集成网络转移到结构简单，运行快速的小型网络。深度互学习DML决定打破这种预先定义好的“强弱关系”，提出了一种相互学习策略，在此策略中，一组学生网络在整个训练过程中相互学习、相互指导，而...
DSML：深度子空间相互学习模型(用于癌症亚型预测)
白景屹的博客
09-25 2231
目录背景描述模型架构数据表示Single level omics data representation learning model(单级组学数据表示学习模型)Multi-level omics data representation learning modelDSML for partial level omics dataSpectral clustering谱聚类认识谱聚类DSML中的谱聚类 背景描述 DSML来自论文"Deep Subspace Mutual Learning For Cance
文献阅读——（第十二篇）Deep Mutual Learning
weixin_37799689的博客
05-31 606
一、文献梳理 1、文献背景 2、研究成果 1）模型意义 2）实验及其结果 二、文献核心思想 三、文献重点
论文笔记: Mutual Learning to Adapt for Joint Human Parsing and Pose Estimation
a1424262219的博客
11-03 779
Mutual Learning to Adapt for Joint Human Parsing and Pose Estimation 2018-11-0309:58:58 Paper:http://openaccess.thecvf.com/content_ECCV_2018/papers/Xuecheng_Nie_Mutual_Learning_to_ECCV_2018_...
《Deep Mutual Learning》论文阅读
Loy Fan
04-10 1258
介绍 模型蒸馏算法由Hinton等人在2015年提出，利用一个预训练好的大网络当作教师来提供小网络额外的知识即平滑后的概率估计，实验表明小网络通过模仿大网络估计的类别概率，优化过程变得更容易，且表现出与大网络相近甚至更好的性能。然而模型蒸馏算法需要有提前预训练好的大网络，且大网络在学习过程中保持固定，仅对小网络进行单向的知识传递，难以从小网络的学习状态中得到反馈信息来对训练过程进行优化调整。 我们...
深度互学(Deep Mutual Learning)实战指南
最新发布
gitblog_00742的博客
08-25 874
深度互学(Deep Mutual Learning)实战指南 Deep-Mutual-LearningAn unofficial implementation of 《Deep Mutual Learning》 by Pytorch to do classification on cifar100.项目地址:https://gitcode.com/gh_mirrors/dee/Deep-Mutu...
MINE(mutual) information neural estimaiton)
林小川的博客
09-20 6551
论文：https://arxiv.org/pdf/1801.04062.pdf 摘要： 论文指出，可以使用神经网络梯度下降算法对高维度连续随机变量间的互信息进行估计，MINE 算法在维度上和样本大小上是线性可测量的，可使用反向传播算法训练。MINE算法可以最大或者最小化互信息，提升生成模型的对抗训练，突破监督学习分类任务的瓶颈。 介绍： 互信息的定义如下公式所示：是一个联合概率分布，与是边...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值