论文阅读
文章平均质量分 66
coding小白
这个作者很懒,什么都没留下…
展开
-
论文阅读——SimCLRv2:Big Self-Supervised Models are Strong Semi-Supervised Learners
术语解释:Unsupervised pre-training:该方法包括使用无监督学习方法(比如自动编码器)或本文中使用的对比学习方法,使用未标记数据逐个对层进行预训练(贪心方法)。在这个预训练之后,使用标记的数据进行微调。这样的好处是什么?使用这种预先训练得到的权重训练一个模型比随机初始化权值产生更好的结果,因为模型在通常的预训练中预先学习数据的表示Contrastive learning: 它是基于相似图像相似性和不同图像之间的差异性,利用余弦相似函数的对比损失来学习表示总结:利用大原创 2021-02-06 23:52:41 · 1368 阅读 · 0 评论 -
论文阅读——Unsupervised Data Augmentation for Consistency Training
之前存在的问题:应用高斯噪声和dropout噪声(无法保证一致性)解决方式:在图像分类问题中使用了randAugment和TSA训练方式主要说一下在无监督数据上的数据增强:数据增强一直在监督学习中起着锦上添花的作用,因为到目前为止数据增强通常是用在数据集相对比较小的标记数据集上,以达到扩充数据集的多样性的作用,但是数据增强起到的作用依然是受限的。基于此,在一致性训练(即原始输入图片和添加噪声色图片,对模型的输出没有影响,输出是一致的)框架下,把这些监督学习中优秀的数据增强方法扩展到半监督学习任务当中。原创 2021-02-06 23:49:47 · 387 阅读 · 0 评论 -
论文阅读——mixup
主要解决的问题是让模型更加鲁棒性的区分很相似的类别;举例来说就是,比如我们一个batch一个batch去训练的时候, 猫对应的label就是猫, 狗就是狗, 完全只靠看猫和狗来区分他们. 那么在实际情况中, 如果出现一个样本, 它长得既像猫又像狗, 但实际上这是一条狗, 网络可能就不知所措了。Mixup采用的是配对的方式进行训练,通过混合两个甚至是多个样本的分布,同时加上对应的标签来训练。在混合两个标签之后得到的不就是两个类别的中间类别了?Label采用的是one-hot编码,可以理解为对k个种类的每原创 2021-02-06 23:46:20 · 448 阅读 · 0 评论 -
论文阅读:Decoupling Representation and Classifier for Long-Tailed Recognition
论文概述:将分类网络分解为representation learning 和 classification 两部分,然后探究了一下这两个部分对于long-tailed问题的影响。根据实验结果可以发现:数据不平衡问题不会影响高质量的representation的学习,因为Instance-balanced sampling(random sampling)策略往往会学到泛化性更好的representations使用简单的Instance-balanced sampling来学习representati原创 2021-01-16 23:33:29 · 1210 阅读 · 0 评论 -
关于attention机制的知识整理
主要的内容分为以下几个部分:1、 注意力机制的定义与原理2、 注意力中常见的对齐方式3、 基本的注意力体制结构4、 脱离Encoder-Decoder结构的attention(其中借鉴了多篇CSDN以及简书的文章,但是匆忙没有记录文章链接,希望原作者谅解)具体来说:学习到的attention的相关内容包括:1.注意力机制的定义与原理视觉注意力机制是人类视觉所特有的大脑信号处理机制。人类视觉通过快速扫描全局图像,获得需要重点关注的目标区域,也就是一般所说的注意力焦点,而后对这一区域投入更多注原创 2020-11-17 13:57:03 · 1713 阅读 · 0 评论