半监督学习调研

最新推荐文章于 2023-09-02 14:53:08 发布
最新推荐文章于 2023-09-02 14:53:08 发布
阅读量620 收藏
点赞数 1
文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Air_Ollie/article/details/119805697
版权
本文探讨了半监督学习中的Temporal Ensembling和Mean Teacher方法。Temporal Ensembling利用指数移动平均来集成不同epoch的预测结果，增强模型稳定性；而Mean Teacher通过教师模型的权重平均更新，引导学生模型学习，两者都在无标签数据上引入一致性损失以提高模型性能。
摘要由CSDN通过智能技术生成

半监督学习：少量数据wiz label + 大量数据without label

论文：Temporal Ensembling For Semi-supervised Learning

首先引入一个background knowledge，

Exponential Moving Average:

为撒要叫exponential呢？从公式中可以看到，在当前的vt中，时间上更久远的v所占的成分呈指数级下降，作为对比，Simple Moving Average则是等权平均一段时间内的序列值

Π-model：对网络做dropout regularization（随机丢弃其中的一部分参数），同一输入（无标签数据）复制两份随机加上input augmentation（如翻转、平移、遮挡等）放到网络里跑，输出的差值平方加到原来的损失中进行梯度下降

最低0.47元/天 解锁文章
Air Ollie
关注
半监督学习研究
daisy9212的博客
10-30 6884
昨天阅读了半监督学习的一些综述，整理如下： 在机器学习的实际应用中，如网页分类、文本分类、基因序列对比、蛋白质功能预测、语音识别、自然语言处理、计算机视觉和基因生物学，很容易找到海量的无类标签的样例，但需要使用特殊设备或经过昂贵且用时非常长的实验过程中进行人工标记才能得到有类标签的样本，由此产生了极少量的有类标签的样本和过剩的无类标签的样例。因此，人们尝试将大量的无类标签的样例加入到有限的有类标签
【菜菜的CV进阶之路-半监督学习】主动学习和半监督学习 - 调研总结
智慧地球（AI·Earth）
10-07 788
所以有了这么一篇关于主动学习的调研，如有问题，欢迎交流、批评、指正！主动学习（Active Learning）的大致思路就是：通过机器学习的方法获取到那些比较**“难”分类的样本数据，让人工再次确认和审核**，然后将人工标注得到的数据再次使用有监督学习模型或者半监督学习模型进行训练，逐步提升模型的效果，将人工经验融入机器学习的模型中。可以看到主动学习侧重于：挖掘难例样本和人工标注或再次标注（注意这里的数据可以是标注的和未标注的）
半监督学习小结
Haochen-Best
11-15 923
半监督学习小结
【半监督学习】1、Mean Teacher | 对 student model 权重进行 EMA 来加速更新 teacher model
呆呆的猫的博客
03-17 2814
本文主要介绍半监督模型 Mean Teacher
计算机视觉中的半监督学习
weixin_51697828的博客
01-21 884
原文：AmitChaudhary.“Semi-SupervisedLearninginComputerVision.”https://amitness.com/2020/07/semi-supervised-learning(2020). 计算机视觉的半监督学习方法在过去几年中发展地非常迅速。目前最先进的方法是在算法架构和损失函数方面简化之前的工作，或者引入混合方法。本文将通过图表来说明半监督学习方法的关键思想。 1.Self-Training 1.1Pseudo-label ...
基于半监督学习的情感分析方法
# 1. 引言 ## 研究背景 情感分析作为自然语言处理领域的重要研究方向，近年来受到了广泛关注。随着社交媒体和在线评论的兴起，人们对于...半监督学习通过利用大量未标记数据来提升模型性能，能够解决监督学习中标记数
【文献调研】半监督菌群优化因果特征选择是否可行？
快乐小狗的成长站~
02-07 459
【文献调研】半监督菌群优化因果特征选择是否可行？
[毕业设计]--弱监督学习调研--主要参考A brief introduction to weakly supervised learning
AnnCY
12-16 515
[毕业设计]–弱监督学习调研–主要参考A brief introduction to weakly supervised learning ​ 在机器学习领域，学习任务可大致划分为两类，一种是监督学习，另一种是非监督学习。通常，两者都需要从包含大量训练样本的训练数据集中学习预测模型，每个训练样本对应于事件/对象。但是由于数据标注过程的成本太高，很多任务很难获得如全部真值标签这样的强监督信息。而无...
半监督目标检测（三）
wutongxdf的博客
11-17 2172
Interactive Self-Training with Mean Teachers for Semi-supervised Object Detection / Unbiased Teacher for Semi-Supervised Object Detection
半监督学习
Vae_fans的博客
02-15 1915
最先进的深度学习模型通常使用大量昂贵的标记训练数据进行训练。然而，需要详尽的手动注释可能会降低模型在有限标签制度下的通用性。半监督学习和无监督学习为从大量未标记的视觉数据中学习提供了有前景的范例。这些范例的最新进展表明，利用未标记数据来改进模型泛化并提供更好的模型初始化具有强大的优势。在这项调查中，我们从统一的角度回顾了用于视觉识别的半监督学习（半监督学习）和无监督学习（无监督学习）的最新高级深度学习算法。为了全面了解这些领域的最新技术，我们提出了统一的分类法。
半监督 mean teachers
weixin_42699651的博客
08-22 290
https://blog.csdn.net/hjimce/article/details/80551721
一文看遍半监督学习模型（Semi-Supervised Learning）
最新发布
qq_43456016的博客
09-02 7440
一个模型对于同一个未标记图像，在图像添加额外噪声前后的预测值应该保持一致。添加噪声的方法，如图像增强（空间维度增强、像素维度增强）。同样，Dropout可在模型结构中引入噪声。
数据不足，如何监督学习？全面梳理半监督方法
idol24的博客
07-16 3391
‍‍作者丨Lilian Weng编译丨丛末编辑丨陈彩娴来源 AI科技评论现实应用中，数据易得，而有标签的数据少有。一般而言，当监督学习任务面临标签数据不足问题时，可以考虑以下四种解决办法：1.预训练+微调：首先在一个大规模无监督数据语料库上对一个强大的任务无关模型进行预训练（例如通过自监督学习在自由文本上对语言模型进行预训练，或者在无标签图像上对视觉模型进行...
半监督学习之数据加载
紫芝的博客
10-16 570
1 图像分类数据集 半监督数据加载：把需要设置为无标签样本的标签设置为-1，这样可以在交叉熵的时候设置忽略-1的标签 class_criterion = nn.CrossEntropyLoss(reduction='sum', ignore_index=NO_LABEL) 参考资料 https://blog.csdn.net/Z609834342/article/details/106863690 ...
半监督学习：MixMatch
曾小辉的博客
02-28 2317
SSL 半监督学习 MixMatch 论文观后感 代码复现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值