Mean Teacher学习笔记（一）

最新推荐文章于 2024-07-10 16:55:08 发布
最新推荐文章于 2024-07-10 16:55:08 发布
阅读量1.3w 收藏 37
点赞数 8
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/demons2/article/details/109825597
版权

Mean Teacher学习笔记（一）


模型的核心思想：模型即充当学生，又充当老师。作为老师，用来产生学生学习时的目标，作为学生，利用老师模型产生的目标来学习。

为了克服Temporal Ensembling的局限性，我们建议平均模型权重而不是预测。教师模式是连续学生模式的平均值，因此我们叫它Mean teacher。与直接使用最终的权重相比，将模型权重平均到训练步骤会产生更准确的模型，在训练中可以利用这一点来构建更好的目标。教师模型使用学生模型的EMA权重，而不是与学生模型共享权重。同时，由于权值平均改善了所有层的输出，而不仅仅是顶层输出，目标模型有更好的中间表示。
—————————————————————————————————————————
在这里插入图片描述
通过梯度下降更新student模型的权重后，教师模型的权重被更新为学生权重的指数移动平均值。两个模型的输出都可以用于预测，但在训练结束时，教师预测更有可能是正确的。
—————————————————————————————————————————

定义一致性代价 J J J为学生模型预测和教师模型预测之间的期望距离：
在这里插入图片描述

我们定义在训练步骤 t t t中 θ t ′ \theta'_{t} θt′​是连续权值 θ \theta θ的EMA值：其中 α \alpha α是平滑系数超参数
在这里插入图片描述

Demon果
关注
  • 8
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
人工智能学习与实训笔记（一）：零基础入门学习与实训笔记
weixin_45512098的博客
07-26 654
基于百度飞桨的人工智能学习笔记
深度学习第一篇论文——半监督学习Mean Teacher 的学习
热门推荐
qq_40933203的博客
04-13 1万+
   最近一个月刚接触深度学习，导师给了一篇论文（mean teacher）让我先理解然后跑论文里面的代码，这个过程中我出现了很多问题，借这篇blog记录下来，也是鼓励自己接着学下去。Mean Teacher 的论文地址：https://arxiv.org/abs/1703.01780；Mean Teacher 的 GitHub 地址：https://github.com/CuriousAI/me...
学生教师模型
最新发布
weixin_43881088的博客
07-10 1105
教师-学生神经网络（Teacher-Student Neural Network），也被称为知识蒸馏（Knowledge Distillation），是一种模型压缩和优化方法。通过将复杂且性能优异的“大”教师模型的知识传递给较小的学生模型，使得学生模型在保持高准确度的同时，具有更低的计算资源需求。
[mean teacher笔记]Mean teachers are better role models
weixin_45922730的博客
10-24 5939
最近提出的时间集成在几个半监督学习基准中取得了先进的成果。它在每个训练示例上保持标签预测的指数移动平均值，并惩罚与此目标不一致的预测。然而，由于目标在每个时代只改变一次，当学习大型数据集时，时间集成变得笨拙。为了克服这个问题，作者提出了mean teacher，一种平均模型权重而不是平均预测标签的方法。mean teacher提高了测试的准确性，并且能够使用比时间集成更少的标签进行训练。作者还证明了良好的网络架构对性能至关重要。
关于半监督框架Mean Teacher的探讨
KongDere的博客
09-05 996
该框架最早由Tarvainen和Valpola于2017年提出，它受到了“teacher-student”训练方法的启发，其中“teacher”是指一个平均了多个模型预测的模型，而“student”是需要训练的模型。在机器学习领域中，半监督学习是一种重要的技术，它允许我们在标记样本有限的情况下，利用未标记样本来提升模型的性能。对于未标记样本，使用Teacher模型的预测结果来计算损失。Mean Teacher的核心思想是通过在训练过程中，将未标记样本的预测结果整合到模型的训练中，从而强化模型的学习。
mean teacher
happily code
12-10 1万+
mean teacher 半监督 mean teacher 是17年提出来的半监督方法： Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results arxiv 改进了Temporal ensembling 和 Π\...
弱监督学习--半监督学习(3):Mean teachers are better role models
qq_44015059的博客
05-23 6326
前言 论文链接：https://arxiv.org/pdf/1703.01780.pdf github：https://github.com/CuriousAI/mean-teacher Mean Teacher 模型是由芬兰的一家AI初创公司在2018年提出，该模型是在 Temporal ensembling Model 的基础上发展而来，其核心出发点仍然是一致性正则。希望使用利用未标记数据的正则化方法，有效减少在半监督学习中的过度适应。 Mean Teacher 模型主要想解决 Temporal ens
Mean Teacher的调研与学习
Alexa_的博客
02-25 1815
Mean Teacher 是一种半监督学习方法，是在方法 Π-Model 和 Temporal Ensembling 之上做了一些改进。Π-Model 和 Temporal Ensembling 方法都是用了单个模型，而Mean Teacher 是用了两个模型。Teacher 的学习方法是参数进行动量更新。Student 则是普通的学习方式。
半监督3D医学图像分割（一）：Mean Teacher
weixin_44858814的博客
10-04 6829
个人认为，Mean Teacher网络的训练是一个求同存异的过程，输入的图像略有差异，网络参数略有差异，我们假设网络训练好后完全收敛，此时学生网络和教师网络的参数应该是非常接近的，也具备良好的去噪能力，那么一致性损失就会很小；自监督学习先使用大量无标签的数据集，通过对比学习和图像重建等方式构建损失函数，进行预训练，然后在特定任务上使用有标签的数据集进行微调。损失由两部分组成，有标签的数据做分割损失，无标签的图像做一致性损失（有标签的也可以做一致性损失）。论文里的方法，结合图像分割画的网络图。
【深度学习】半监督学习入门：Mean teachers
小白兔的窝
03-25 4242
multi-task-mean-teacher:老师创建的带有伪标签的多任务学习
04-05
多任务平均老师 使用老师创建的伪标签进行多任务学习。 这是具有辅助任务的多任务学习。 在训练期间，我们可以从老师创建的伪标签中受益。 这是通过培训Teacher.py完成的。 我们可以通过训练student.py来进行多任务学习，这是正常的多任务学习
MeanTeacher论文学习笔记
qq_39432507的博客
03-18 1386
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
【论文笔记】CVPR2020 A Multi-task Mean Teacher for Semi-supervised Shadow Detection
gitcat的博客
07-10 1069
Multi-task Learning的工作： Contribuions 提出了： 利用更加丰富的unlabeled data 利用multi-task learning来提供complementary information，让预测更准确 来分别解决之前工作的问题： 都需要 sufficient amount of annotated data，but annotated data are all captured in limited scenes. 实验中作者发现之前的算法 ne-
Sound Event Detection: A Tutorial 学习笔记
Maestro_T的博客
11-14 2722
声音事件监测论文：Sound Event Detection: A Tutorial 学习笔记
学习笔记：能用20-50个模型说明tensorflow？
kingking44的博客
04-12 1060
TensorFlow 是一个广泛应用于机器学习和深度学习的开源框架，提供了丰富的功能和工具来构建和训练神经网络模型。 先来 20 个 TensorFlow 相关的实现示例，每个示例都包含基本的调用范例：线性回归模型： 卷积神经网络（CNN）： 循环神经网络（RNN）： 生成对抗网络（GAN）： 自编码器（Autoencoder）： 预训练模型迁移学习： K-Means 聚类： **Word2Vec**： 序列到序列模型： 多层感知机（MLP）： 自定义损失函数：
Mean teachers：深度学习半监督学习应用
u012420553的博客
09-23 1299
Mean teacher: 半监督深度学习Consistency 一致性 Consistency 一致性 weight-averaged consistency
半监督学习之Mean teachers
weixin_42764932的博客
01-22 3549
半监督学习Mean teachers 网络整体的架构包括两个部分student model和teacher model： student model的网络参数通过学习，梯度下降获得。 teacher model的网络参数通过student model的网络参数的moving average得到。 student model的网络参数更新方法： 通过损失函数的梯度下降更新参数得到。 其中损失函数包括两个部分： 第一部分是有监督损失函数，保证有标签训练数据拟合； 第二部分是无监督损失函数，主要是保
实战半监督模型mean_teacher（TensorFlow2）
m0_70851244的博客
12-02 1592
浅试半监督模型。
mean teacher模型
05-23
Mean Teacher模型是一种半监督的深度神经网络训练方法，旨在提高模型的泛化能力和鲁棒性。该模型的基本思想是：通过将一个有监督的模型和一个无监督的模型结合起来，使得无监督模型可以充当有监督模型的“老师”，指导有监督模型的学习过程。具体地，无监督模型在训练集中产生的预测结果与有监督模型的预测结果进行比较，如果差异较小，则将无监督模型的参数更新到有监督模型中，以此改善有监督模型的泛化能力和鲁棒性。 该模型的优点是：可以利用大量的未标注数据进行训练，从而提高模型的准确性；同时，由于无监督模型的指导，有监督模型更容易避免过拟合和噪声数据的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值