自监督学习
自监督学习阅读论文
coding小白
这个作者很懒,什么都没留下…
展开
-
论文阅读——SimCLRv2:Big Self-Supervised Models are Strong Semi-Supervised Learners
术语解释:Unsupervised pre-training:该方法包括使用无监督学习方法(比如自动编码器)或本文中使用的对比学习方法,使用未标记数据逐个对层进行预训练(贪心方法)。在这个预训练之后,使用标记的数据进行微调。这样的好处是什么?使用这种预先训练得到的权重训练一个模型比随机初始化权值产生更好的结果,因为模型在通常的预训练中预先学习数据的表示Contrastive learning: 它是基于相似图像相似性和不同图像之间的差异性,利用余弦相似函数的对比损失来学习表示总结:利用大原创 2021-02-06 23:52:41 · 1327 阅读 · 0 评论 -
论文阅读——mixup
主要解决的问题是让模型更加鲁棒性的区分很相似的类别;举例来说就是,比如我们一个batch一个batch去训练的时候, 猫对应的label就是猫, 狗就是狗, 完全只靠看猫和狗来区分他们. 那么在实际情况中, 如果出现一个样本, 它长得既像猫又像狗, 但实际上这是一条狗, 网络可能就不知所措了。Mixup采用的是配对的方式进行训练,通过混合两个甚至是多个样本的分布,同时加上对应的标签来训练。在混合两个标签之后得到的不就是两个类别的中间类别了?Label采用的是one-hot编码,可以理解为对k个种类的每原创 2021-02-06 23:46:20 · 439 阅读 · 0 评论 -
论文阅读——S4L:Self-Supervised Semi-Supervised Learning
论文链接:https://openaccess.thecvf.com/content_ICCV_2019/papers/Zhai_S4L_Self-Supervised_Semi-Supervised_Learning_ICCV_2019_paper.pdf从论文的模型图来看,将整个数据集分为了有标记数据和无标记数据。对于标记数据来说,模型会同时预测旋转角度和标签,对于无标签数据来说,只会预测其旋转角度,预测旋转角度”可以替换成任何其它无监督task,例如文章中提到的exemplar self-super原创 2021-01-28 21:58:09 · 1490 阅读 · 3 评论 -
论文阅读——MoCo:Momentum Contrast for Unsupervised Visual Representation Learning
不放翻译了,大家喜欢的可以搜索题目去谷歌学术下载~样本数量对于对比学习很重要,提出一种动量对比的方法来提高每个mini-batch中负样本的数量。左边的 是查询的样本,右侧的 是一个字典,存储的是一组数据样本,分别通过不同的编码器网络提取特征,通过最小化特征之间的对比损失函数进行编码网络的更新。x_q代表某一图片p_q的图像增强操作(包括旋转、平移、裁剪等)后的一个矩阵;x_k代表多张图片p_k(p_k中包含p_q)的图像增强操作之后的多个矩阵;Encoder、momentum encoder代原创 2021-01-25 00:00:22 · 962 阅读 · 0 评论 -
论文阅读——SimCLR:A Simple Framework for Contrastive Learning of Visual Representations
SimCLR论文总结:构建负样例的方式在对比学习中很重要。主要探究了图像变换、batchsize对于学习到的表示的影响。构造负样本的方法是通过两次数据增强,产生2N-2个负样本具体流程:假设每个batch中有两张图片(dog和chair),以dog为例对一张dog进行随机增强,产生两张图像这两张增强之后的图像送到网络f中,在这里产生一个特征向量hh经过MLP(一个全连接网络)也就是投影操作g,产生zz用于计算对比loss想要的表示是h,最终的特征提取器是f注意的是:在最终使用的时原创 2021-01-24 23:56:51 · 1437 阅读 · 0 评论 -
对比学习、自监督学习的理解
自监督学习定义:自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息来提高学习表征的质量,通过这种构造监督信息对网络进行训练,从而可以学习到对下游任务具有价值的表征。辅助任务(pretext):可以认为是一种为达到特定训练任务而设计的间接任务。pretext任务的好处是为了简化原任务的求解,在深度学习中就是避免人工标记样本,实现无监督的语义提取。Pretext任务可以进一步理解为:对目标任务有帮助的辅助任务。主要pretext task包括:图像旋转、图像着色、图像修复。下游任务:图原创 2021-01-25 00:01:47 · 4213 阅读 · 7 评论