![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
半监督学习
文章平均质量分 60
半监督学习论文
coding小白
这个作者很懒,什么都没留下…
展开
-
论文阅读——SimCLRv2:Big Self-Supervised Models are Strong Semi-Supervised Learners
术语解释:Unsupervised pre-training:该方法包括使用无监督学习方法(比如自动编码器)或本文中使用的对比学习方法,使用未标记数据逐个对层进行预训练(贪心方法)。在这个预训练之后,使用标记的数据进行微调。这样的好处是什么?使用这种预先训练得到的权重训练一个模型比随机初始化权值产生更好的结果,因为模型在通常的预训练中预先学习数据的表示Contrastive learning: 它是基于相似图像相似性和不同图像之间的差异性,利用余弦相似函数的对比损失来学习表示总结:利用大原创 2021-02-06 23:52:41 · 1309 阅读 · 0 评论 -
论文阅读——Unsupervised Data Augmentation for Consistency Training
之前存在的问题:应用高斯噪声和dropout噪声(无法保证一致性)解决方式:在图像分类问题中使用了randAugment和TSA训练方式主要说一下在无监督数据上的数据增强:数据增强一直在监督学习中起着锦上添花的作用,因为到目前为止数据增强通常是用在数据集相对比较小的标记数据集上,以达到扩充数据集的多样性的作用,但是数据增强起到的作用依然是受限的。基于此,在一致性训练(即原始输入图片和添加噪声色图片,对模型的输出没有影响,输出是一致的)框架下,把这些监督学习中优秀的数据增强方法扩展到半监督学习任务当中。原创 2021-02-06 23:49:47 · 365 阅读 · 0 评论 -
论文阅读——mixup
主要解决的问题是让模型更加鲁棒性的区分很相似的类别;举例来说就是,比如我们一个batch一个batch去训练的时候, 猫对应的label就是猫, 狗就是狗, 完全只靠看猫和狗来区分他们. 那么在实际情况中, 如果出现一个样本, 它长得既像猫又像狗, 但实际上这是一条狗, 网络可能就不知所措了。Mixup采用的是配对的方式进行训练,通过混合两个甚至是多个样本的分布,同时加上对应的标签来训练。在混合两个标签之后得到的不就是两个类别的中间类别了?Label采用的是one-hot编码,可以理解为对k个种类的每原创 2021-02-06 23:46:20 · 435 阅读 · 0 评论 -
论文阅读——S4L:Self-Supervised Semi-Supervised Learning
论文链接:https://openaccess.thecvf.com/content_ICCV_2019/papers/Zhai_S4L_Self-Supervised_Semi-Supervised_Learning_ICCV_2019_paper.pdf从论文的模型图来看,将整个数据集分为了有标记数据和无标记数据。对于标记数据来说,模型会同时预测旋转角度和标签,对于无标签数据来说,只会预测其旋转角度,预测旋转角度”可以替换成任何其它无监督task,例如文章中提到的exemplar self-super原创 2021-01-28 21:58:09 · 1459 阅读 · 3 评论 -
论文阅读——Mean teachers: Weight-averaged consistency targets improve semi-supervised
主要思想:在输入或者网络参数存在微小扰动的情况下,鼓励教师和学生网络预测结果的一致性,具体来说:1、 通常给同一个无标签的样本构建两种不同的数据增强,需要通过约束使得学生和教师模型尽量产生相似的预测结果2、 学生网络首先使用有标签样本进行梯度下降训练,而在无监督训练的过程中使用的是每次迭代时学生网络权重和教师网络权重的加权和来更新教师网络权重3、 总的训练损失一般是由对有标签样本进行监督训练的交叉熵和无标签样本进行无监督训练的教师和学生预测结果的MSE损失共同组成相关理论概述:之前的tempora原创 2021-01-16 23:27:52 · 1470 阅读 · 0 评论 -
论文阅读:FixMatch:simplifying-semi-supervised-learning-with-consistency-and-confidence
重点总结:主要结合了伪标签和一致正则化(两种数据增强的方式实现)方法利用更少的带标签数据,实现了更高的准确度。下面具体说一下关于FixMatch具体实施细节:先来介绍一下本篇论文中数据增强。数据增强的主要思路:在未标记的图像上进行弱增强从而生成伪标签,同时也在未标记的图像上进行强增强进行预测。具体使用到的方法的解释如下:1.弱增强:包括对图像的翻转和平移两种策略。2.强增强:主要应用RandAugment或CTAugment,然后应用CutOut增强CutOut方法:这种增强的方式原创 2020-12-20 21:21:58 · 1457 阅读 · 7 评论 -
论文阅读:Pseudo Label The Simple and Efficient Semi-Supervised Learning Method for Deep Neural Networks
论文简介:这是在半监督学习领域中比较靠前的一篇方法论文,发表在了2013年的ICML。在总结这篇论文之前,我先整理了一下关于熵和熵正则化(Entropy Regularization)的内容,因为这是基础的概念,自己之前也没了解,只是看了看名字。主要的核心思想:将预测概率最大的标记作为无标记数据的伪标签,然后给未标记数据设一个权重,在训练过程中慢慢增加未标记数据的权重来进行训练。在手写体数据集上有了较好的性能。优点:方法简单,直接;缺点:缺乏数学理论推导,就是从伪标签到体现熵正则化的这个过程,没有数学原创 2020-12-20 21:15:35 · 2532 阅读 · 3 评论 -
论文阅读:Temporal Ensembling for Semi-supervised Learning
论文阅读:Temporal Ensembling for Semi-supervised Learning论文的翻译就不放了,这里给出这篇论文的链接,大家感兴趣的可以去看原文。https://arxiv.org/abs/1610.02242论文简介:这是半监督领域比较早的一篇论文,主要提出来了两个模型,一个是π model,一个是Temporal Ensembling。体现的原则:一致性原则,就是模型对未标记数据的输出应该具有一致性的正则。是对伪标签那篇论文的拓展,与之前伪标签论文的区别是伪标签中第二原创 2020-12-20 20:57:30 · 1751 阅读 · 0 评论