半监督训练方法--mean teachers are better role models

最新推荐文章于 2024-05-12 21:28:48 发布
最新推荐文章于 2024-05-12 21:28:48 发布
阅读量5.8k 收藏 11
点赞数 1
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011961856/article/details/84063663
版权

本文采用两个网络进行训练，连个网络模型结构一样，分别命名为teacher,student网络。student网络参数根据损失函数梯度下降法更新得到；teacher网络参数通过student网络的参数迭代得到。

训练数据：

有标签样本x1,y1,以及无标签样本x2.

训练策略：

将有标签数据x1,y1输入student,从而计算loss1.

将无标签数据x2输入student,从而计算得到label1

将无标签数据x2输入teacher,从而计算得到label2

我们希望两个网络的预测标签尽量相等，因此根据lable1,label2得到损失函数loss2.

根据loss=loss1+loss2更新student网络。

在每个step中，更新student网络参数后，再利用student网络的参数更新teacher网络参数，

在这里插入图片描述
github代码：https://github.com/CuriousAI/mean-teacher

imperfect00
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
机器学习10 -- 半监督学习 Semi-supervised Learning
谢杨易的博客
09-11 1万+
1 为什么要做半监督学习 有监督机器学习已经在很多领域证明了它的有效性，比如ImageNet图像分类任务，深度学习模型早在2017年，准确率就已经超过了人类。机器学习被认为是一门数据驱动的学科，数据分为两部分，data和label。通常情况下，data是比较容易获取的，而label需要标注，要珍贵很多。比如对于图像分类任务，网络上有成千上万的图片数据，但他们大多数都是没有label标注的。 通常情况下，我们可以进行一小部分数据的标注，形成有监督数据，然后再利用好其他未标注数据。这种方法称为半监督学习。半
semi-supervised-learning:深度学习半监督相关算法，主要是Mean teachers are better role models
05-02
semi-supervised-learning深度学习半监督相关算法，主要是文献《Mean teachers are better role models》算法，经测试在一般分类问题上精度都会有几个点的提升。1.数据存放到data目录，每个类别图片存放到一个文件...
ICCV2021 Semi-Supervised Semantic Segmentation With Pixel-Level Contrastive Learning...
qq_43656233的博客
08-28 257
这项工作提出了一种半监督语义分割的新方法。这种方法的关键要素是我们的对比学习模块，它强制分割网络为整个数据集中的同类样本产生相似的像素级特征表示。为了实现这一目标，我们维护一个，该不断更新来自标记数据的相关且高质量的特征向量。在端到端训练中，标记和未标记数据的特征都被优化为与Memory Bank中的同类样本相似。我们的方法不仅优于当前半监督语义分割的最新技术，而且还优于众所周知的公共基准的半监督域适应，在最具挑战性的场景（即可用标记数据较少）上有更大的改进。代码可在获取。
mean teacher代码实战避坑指南
最新发布
qq_61776376的博客
05-12 285
你可能，啥叫可能，我不弄就跑不通啊，丢，然后把这个代码放到pychram终端里面去跑，很好你百分之九十九跑不通（跑通了是最好，哈哈哈），跑不通就去网上找，.sh文件有两种方式打开，下载git程序或者conda，果断conda下载。很好开始第二个问题，就是这个模块的。
类感知对比半监督学习(Class-Aware Contrastive Semi-Supervised Learning)论文阅读笔记
Remoa的休闲茶馆
05-31 5819
1 研究背景； 2 关键卖点； 3 主要架构； 4 损失函数； 4.1自监督对比学习损失； 4.2 有监督对比学习损失； 5 模型性能； 参考文献；
实战半监督模型mean_teacher（TensorFlow2）
m0_70851244的博客
12-02 1482
浅试半监督模型。
基于对比学习的标签有效语义切分方法
码灵分析
04-14 1489
Contrastive Learning for Label-Efficient Semantic Segmentation 基于对比学习的标签有效语义切分方法 Abstract Collecting labeled data for the task of semantic segmentation is expensive and time-consuming, as it requires dense pixel-level annotations. While recent Convolutiona
k-mean学习k-mean学习
02-26
k-mean学习k-mean学习
论文研究-基于证据理论的不平衡数据半监督分类方法.pdf
07-22
针对标记样本少的不平衡数据，提出一种基于证据理论和biased-SVM的不平衡数据半监督分类方法。首先采用随机子空间方法得到不同的视图；然后在各个视图上利用初始的标记样本集训练biased-SVM模型，并将其应用于未标记...
Vagrant-MEAN：MEAN Stack的Vagrant盒子
02-06
Vagrant-MEAN：MEAN Stack的Vagrant盒子
MeanTeacher文章解读+算法流程+核心代码详解
CCjoffrey的博客
07-29 7199
MeanTeacher 本博客仅做算法流程疏导，具体细节请参见原文 原文 原文链接点这里 Github 代码 Github代码点这里 解读 论文解读点这里 算法流程 代码详解 train_transform = data.TransformTwice(transforms.Compose([ data.RandomTranslateWithReflect(4), transforms.RandomHorizontalFlip(), transforms.T
论文解读《Semi-supervised Contrastive Learning for Label-efficient Medical Image Segmentation》
weixin_37591159的博客
03-31 4189
论文解读《半监督对比学习高效标签的医学图像分割》 期刊名： MICCAI 2021 代码： 代码地址 论文地址： 论文地址 摘要：深度学习方法在医学图像分割分割任务中的成功与否，很大程度上依赖于大量标注数据的监督训练。另一方面，生物医学l图像的注释需要领域知识，可能很费力。近年来，对比学习在学习图像的潜在表征方面表现出了巨大的潜力。现有的工作已经探索了它在生物医学图像分割中的应用，其中只有一小部分数据被标记，通过基于自我监督对比学习的训练前阶段，不使用任何标签，然后只对标记的部分数据进行监督微调阶段。 在
Semi-supervised Semantic Segmentation Papers
Closure
08-31 1127
一些流行的方法，例如一致性正则化或伪标签，甚至可能会损害对表现不佳的类别的学习，因为这些类别的预测或伪标签可能太不准确，无法指导对未标记数据的学习。我们的方法在众所周知的公共基准上优于当前最先进的半监督语义分割和半监督域适应，在最具挑战性的场景（即可用的标记数据较少）上有更大的改进。即使是不可靠的预测结果，虽然无法打上确定的伪标签，但仍可以作为部分类别的负样本，从而参与到模型的训练，从而让所有的无标签样本都能在训练过程中发挥作用。此外，在前景-背景不平衡的标记数据上训练的模型容易产生有偏差的预测。...
mean-teacher 半监督水下图像恢复
whaosoft143ai的博客
03-23 660
尽管最近水下图像恢复技术取得了显着成就，但缺乏标记数据已成为进一步发展的主要障碍。这项工作提出了一种基于mean-teacher 的半监督水下图像恢复（Semi-UIR）框架，以将未标记的数据整合到网络训练中。论文链接：https://arxiv.org/pdf/2303.09101.pdf源码链接：https://github.com/Huang-ShiRui/Semi-UIR由于水下场景中光纤折射吸收和散射，在水中拍摄的图像通常会出现严重的色彩失真，低对比度和模糊的现象。whaosoft aiot ht
论文笔记：基于对比学习的半监督分类学习方法
weixin_46224126的博客
10-19 2291
论文阅读笔记_CCSSL
【TMI2023】Contrastive Semi-Supervised Learning for Domain Adaptive Segmentation Across Similar Anatom
m0_61899108的博客
06-03 1268
半监督学习（SSL）方法可以减少注释的需求，但是当数据集和注释图像数量较小时，其性能仍然受到限制。利用具有相似解剖结构的现有标注数据集来辅助训练可以提高模型性能。但是，这个方法面临的挑战是由于目标结构的外观和成像模式与现有标注数据集不同，导致解剖跨域差异。为了解决这个问题，这篇论文提出了跨解剖域自适应对比半监督学习CS-CADA方法，通过利用源域中一组类似结构的现有标注图像来适应目标域的模型分割类似结构，只需要在目标域中进行少量标注。
简单入门理解半监督中的Mean Teacher
xiongxyowo的博客
02-16 6179
简单入门理解半监督中的Mean Teacher
今日arXiv精选 | 29篇顶会论文：ACM MM/ ICCV/ CIKM/ AAAI/ IJCAI
Paper weekly
08-23 2519
关于#今日arXiv精选这是「AI 学术前沿」旗下的一档栏目，编辑将每日从arXiv中精选高质量论文，推送给读者。Group-based Distinctive Image Capt...
[mean teacher笔记]Mean teachers are better role models
weixin_45922730的博客
10-24 5556
最近提出的时间集成在几个半监督学习基准中取得了先进的成果。它在每个训练示例上保持标签预测的指数移动平均值，并惩罚与此目标不一致的预测。然而，由于目标在每个时代只改变一次，当学习大型数据集时，时间集成变得笨拙。为了克服这个问题，作者提出了mean teacher，一种平均模型权重而不是平均预测标签的方法。mean teacher提高了测试的准确性，并且能够使用比时间集成更少的标签进行训练。作者还证明了良好的网络架构对性能至关重要。
mean teachers are better role models
09-02
对于这个问题，我认为严厉的老师更能成为良好的榜样。尽管严厉的老师可能会被认为不友善，但他们通常能够教给学生一些重要的品质和技能。 首先，严厉的老师能够传授学生要有责任心和纪律的价值观。...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值