Mean Teacher的调研与学习

最新推荐文章于 2024-10-24 14:49:45 发布
最新推荐文章于 2024-10-24 14:49:45 发布
阅读量2.9k 收藏 24
点赞数 29
分类专栏： 半监督semi-supervised 文章标签： 学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alexa_/article/details/136279863
版权

Mean Teacher的调研与学习

0 FQA:

Q1，什么是Mean Teacher？ MT的训练方式是怎样的？
A1: Mean Teacher是一种基于一致性正则化的半监督学习框架，从Π-model与时序集成演化而来。该模型由一个教师模型和一个学生模型组成，两者使用相同的网络结构。在训练过程中，该方法对学生和教师模型添加不同的扰动，并通过最小化二者的输出差异训练模型，使模型在不同扰动下的输出结果仍具有一致性，从而有效提升模型的泛化能力。

Q2:为什么叫平均教师?
A2： 因为在MT模型的训练过程中，Mean Teacher 首先对学生模型进行训练，并利用梯度下降法更新其模型参数，其次计算学生模型参数的指数移动平均值，并将计算结果更新为教师模型的参数。由于教师模型是连续若干训练step产生的学生模型的平均值，我们称之为平均教师方法。

Q3: MT与时序集成的不同点在哪？
A3: 与 Temporal Ensembling 方法的不同之处在于，Mean Teacher 并未对模型的输出结果进行操作，而是关注于对模型参数的处理。

Q4：后续的引用MT的文章中，都有那些创新思路？ 比如说对着Mean Teacher结构上是如何创新点等等？
A4：感觉mean teacher 的变化形式特别的多，我先对着mean teacher为主题

最低0.47元/天 解锁文章
ECCV 2024 | CamoTeacher：双重旋转一致性学习的半监督伪装目标检测
小白学视觉
12-22 111
现有的伪装目标检测（COD）方法严重依赖于大规模像素级标注。然而，由于目标的伪装特性，获取此类标注是费力的。半监督学习为这一挑战提供了一个有希望的解决方案。然而，其在COD中的应用因显著的伪标签噪声而受阻，这些噪声既包括像素级也包括实例级。作者引入了CamoTeacher，这是一个新颖的半监督COD框架，利用双重旋转一致性学习（DRCL）有效解决这些噪声问题。具体来说，DRCL通过利用旋转视图在像素级和实例级上的一致性来最小化伪标签噪声。
深度学习第一篇论文——半监督学习Mean Teacher 的学习
热门推荐
qq_40933203的博客
04-13 1万+
   最近一个月刚接触深度学习，导师给了一篇论文（mean teacher）让我先理解然后跑论文里面的代码，这个过程中我出现了很多问题，借这篇blog记录下来，也是鼓励自己接着学下去。Mean Teacher 的论文地址：https://arxiv.org/abs/1703.01780；Mean Teacher 的 GitHub 地址：https://github.com/CuriousAI/me...
关于半监督框架Mean Teacher的探讨
KongDere的博客
09-05 1590
该框架最早由Tarvainen和Valpola于2017年提出，它受到了“teacher-student”训练方法的启发，其中“teacher”是指一个平均了多个模型预测的模型，而“student”是需要训练的模型。在机器学习领域中，半监督学习是一种重要的技术，它允许我们在标记样本有限的情况下，利用未标记样本来提升模型的性能。对于未标记样本，使用Teacher模型的预测结果来计算损失。Mean Teacher的核心思想是通过在训练过程中，将未标记样本的预测结果整合到模型的训练中，从而强化模型的学习。
[mean teacher笔记]Mean teachers are better role models
weixin_45922730的博客
10-24 6471
最近提出的时间集成在几个半监督学习基准中取得了先进的成果。它在每个训练示例上保持标签预测的指数移动平均值，并惩罚与此目标不一致的预测。然而，由于目标在每个时代只改变一次，当学习大型数据集时，时间集成变得笨拙。为了克服这个问题，作者提出了mean teacher，一种平均模型权重而不是平均预测标签的方法。mean teacher提高了测试的准确性，并且能够使用比时间集成更少的标签进行训练。作者还证明了良好的网络架构对性能至关重要。
mean teacher
happily code
12-10 1万+
mean teacher 半监督 mean teacher 是17年提出来的半监督方法： Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results arxiv 改进了Temporal ensembling 和 Π\...
弱监督学习--半监督学习(3):Mean teachers are better role models
qq_44015059的博客
05-23 8584
前言 论文链接：https://arxiv.org/pdf/1703.01780.pdf github：https://github.com/CuriousAI/mean-teacher Mean Teacher 模型是由芬兰的一家AI初创公司在2018年提出，该模型是在 Temporal ensembling Model 的基础上发展而来，其核心出发点仍然是一致性正则。希望使用利用未标记数据的正则化方法，有效减少在半监督学习中的过度适应。 Mean Teacher 模型主要想解决 Temporal ens
【深度学习】半监督学习入门：Mean teachers
小白兔的窝
03-25 4323
简单入门理解半监督中的Mean Teacher
xiongxyowo的博客
02-16 1万+
简单入门理解半监督中的Mean Teacher
半监督学习调研
Air_Ollie的博客
08-19 751
半监督学习：少量数据wiz label + 大量数据without label 论文：Temporal Ensembling For Semi-supervised Learning Exponential Moving Average:（为撒要叫exponential？） Π-model：对网络做dropout regularization和input augmentation，同一输入跑两次，输出的MSE作为loss加到正常的cross entropy上 Temporal Ensembl
基于在线教学平台的数据挖掘与学习行为分析
qq_51305920的博客
03-23 9430
近年来，随着在线教育和MOOC（Massive Open Online Courses，大规模开放式在线课程）教育的兴起，积累了海量教学行为数据与知识资源。由于教育资源的繁杂，用户难以在众多的教育资源中找到符合自己需要的学习资源，在接受信息的过程中容易形成“学习迷航”和“认知过载”。同时，教学过程发生在网络环境中，和线下课堂教学不同，教师无法全程了解和监督学生的学习情况。而对教育大数据的分析挖掘有助于破解上述难题，为智慧教育发展注入新的动力。
multi-task-mean-teacher:老师创建的带有伪标签的多任务学习
04-05
多任务平均老师 使用老师创建的伪标签进行多任务学习。 这是具有辅助任务的多任务学习。 在训练期间，我们可以从老师创建的伪标签中受益。 这是通过培训Teacher.py完成的。 我们可以通过训练student.py来进行多任务学习，这是正常的多任务学习
机器学习中的可解释性挑战：复杂模型难题的解析与应对
[机器学习中的可解释性挑战：复杂模型难题的解析与应对](https://knowledge.dataiku.com/latest/_images/pdp-concept.png) # 1. 可解释性在机器学习中的重要性 随着机器学习技术的快速发展，模型越来越复杂，应用...
实战半监督模型mean_teacher（TensorFlow2）
m0_70851244的博客
12-02 1878
浅试半监督模型。
Mean teachers are better role models
ggqyh的博客
02-27 1620
最近提出的Temporal Ensembling在几个半监督学习基准测试中取得了最先进的结果。它在每个训练样本上保持标签预测的指数移动平均，并惩罚与该目标不一致的预测。然而，由于目标只在每个epoch变化一次，当学习大型数据集时，Temporal Ensembling变得笨重。为了克服这个问题，我们提出了Mean Teacher，一种对模型权重进行平均而不是对标签预测的方法。
Mean Teacher & Adaptive Teacher & Probabilistic Teacher
最新发布
Jeremy_lf的博客
10-24 1158
Probabilistic Teacher框架通过不确定性引导的自训练，有效地处理了目标域中未标记数据的适应问题，提高了模型在不同域之间的泛化能力。该框架可以无缝扩展到无需源数据的UDA-OD设置中，这在隐私敏感的应用场景中非常有用。未来，可以进一步探索如何优化Probabilistic Teacher框架中的不确定性表示和利用方式，以及如何将其应用于更多的域自适应任务中。
Mean Teacher学习笔记（一）
demons2的博客
11-19 1万+
Mean Teacher学习笔记（一） 模型的核心思想：模型即充当学生，又充当老师。作为老师，用来产生学生学习时的目标，作为学生，利用老师模型产生的目标来学习。 为了克服Temporal Ensembling的局限性，我们建议平均模型权重而不是预测。教师模式是连续学生模式的平均值，因此我们叫它Mean teacher。与直接使用最终的权重相比，将模型权重平均到训练步骤会产生更准确的模型，在训练中可以利用这一点来构建更好的目标。教师模型使用学生模型的EMA权重，而不是与学生模型共享权重。同时，由于权值平均改善
Mean teachers are better role models 学习笔记
passer__的博客
03-12 681
Mean teachers 是在 Π-model，Temporal ensembling的基础上进一步优化了前边的两个模型的问题。比如Temporal ensembling模型只有在训练完成一个epoch之后才会进行更新，当数据集越大的时候，它更新的周期就越长，学到的信息融入到训练过程就变的很慢，而且它很难以适用于在线学习。
Mean teachers 论文学习+代码复现
qq_51659249的博客
10-23 2184
记录了在看mean teacher过程中的疑问以及简单的梳理
【半监督 Mean teachers】
闪闪发光的博客
10-07 446
对于同样的输入样本X，我们通过扩充变换、加入噪声等，然后得到输入 teacher、student 网络数据，这样由于加了噪声，所以teacher 和student 的输入有可能是不同的，这样训练出来的网络，同时也让网络具备抗噪声的能力，得到的精度更高。在网络最开始训练阶段，由于参数是随机初始化而来，其对于类别的分类肯定也是大部分不正确的，所以teacher 和student 输出标签不同比较正常，所以一开始的时侯a值得选择，不应该选择太大，应该。此外，还提出了一种先进的框架来逐步利用未标记的图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值