无监督/自监督/弱监督
文章平均质量分 88
无监督/自监督/弱监督
xz1308579340
这个作者很懒,什么都没留下…
展开
-
0.无监督/自监督 paper list
paper list博客:https://towardsdatascience.com/a-framework-for-contrastive-self-supervised-learning-and-designing-a-new-approach-3caab5d29619主要算法CPC,AMDIM,SimCLR,Moco,BYOL综述文章https://arxiv.org/pdf/2009.00104.pdf主要算法CPC,AMDIM,SimCLR,Moco,BYOL[1] Falco原创 2020-10-10 12:59:00 · 276 阅读 · 0 评论 -
1.无监督学习概述: 生成学习VS对比学习
概述自监督方法在深度学习中将取代当前占主导地位监督方法的预言已经存在了很长时间。 如今,自监督方法在Pascal VOC检测方面已经超过了监督方法(2019年何恺明提出的MoCo方法),并且在许多其他任务上也显示出了出色的结果。 最近自监督方法兴起的背后是他们都遵循了 contrastive learning 。当前的机器学习方法大多依赖于人类标注信息,这种对标注信息的过度依赖有如下危险:数据的内部结构远比标注提供的信息要丰富,因此通常需要大量的训练样本,但得到的模型有时是较为脆弱的。在高维分类问原创 2020-10-10 12:56:06 · 5470 阅读 · 2 评论 -
2.Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
预训练模型提供一个好的初始点避免过拟合深度学习的标注成本很高,尤其是涉及视频时为避免耗时且昂贵的数据标注工作,提出了许多自我监督的方法,以在不使用任何人工注释的情况下从大规模的未标记图像或视频中学习视觉特征。为了从未标记的数据中学习视觉特征,一种流行的解决方案是为网络提出各种需要解决的pretext tasks,同时可以通过学习借记任务的目标功能来训练网络,并通过此过程学习特征。各种已经提出了各种自我监督学习的借口任务,包括为灰度图像着色[18],图像修复[19],拼图游戏[20](1.原创 2020-09-30 13:31:32 · 723 阅读 · 0 评论 -
4.无监督算法 SimCLR
有点像词向量预训练模型,这个框架可以作为很多视觉相关的任务的预训练模型,可以在少量标注样本的情况下,拿到比较好的结果。结果自监督情况下固定特征提取层, 使用所有数据训练softmax分类器小数据集fineturn所有参数微调迁移学习所有数据The Illustrated SimCLR FrameworkPublished March 04, 2020 in illustrationhttps://amitness.com/2020/03/illustrated-simclr/近年原创 2020-10-09 17:11:00 · 2902 阅读 · 3 评论 -
5. 无监督学习 MoCo: Momentum Contrast for Unsupervised Visual Representation Learning
用于视觉表示学习的动量对比。作者:Kaiming He 以及FAIR的一众大佬Summary这篇文章主要解决的是无监督视觉表示学习问题。作者从将对比学习看做字典查找(dictionary look-up)出发,使用队列(queue)和滑动平均编码器(moving-averaged encoder)构建动态字典。这一做法使得通过在线构建大容量且协调的字典来实现对比无监督学习成为可能。作者表示,该方法在7种检测和分割任务上超过了有监督学习方法。目前,已经有一些方法借助对比损失(contrastive l原创 2020-10-09 20:28:15 · 1431 阅读 · 0 评论 -
Contrastive Self-Supervised Learning 的对比学习框架和设计新方法
https://towardsdatascience.com/a-framework-for-contrastive-self-supervised-learning-and-designing-a-new-approach-3caab5d29619近来,一系列“新颖”的自监督学习领域算法取得了不错的成果,如:AMDIM[2],CPC[3],Moco[5],SimCLR[4],BYOL[6]等。YADIM[1]设计了一个框架来表达对比性自我监督学习方法,受该框架启发,本文从4个方面了分析近来的对比自监督算原创 2020-10-09 15:00:42 · 1075 阅读 · 0 评论 -
7.无监督学习: MoCo V2
核心融合了MoCo V1 和 SimCLR, 是二者的集大成者,并且全面超越SimCLR吸收了SimCLR的两个重要改进using an MLP projection headmore data augmentation无需SimCLR一样超大batch size, 普通8卡即可训练代码开源Introduction Recent无监督学习的进展主要来源与对比学习,更小的batch size更少的资源消耗更好的效果In contrast to SimCLR’s large 4k∼原创 2020-10-10 14:29:22 · 1750 阅读 · 0 评论 -
8.无监督学习: SimCLRv2
v2框架整体还是沿用了在NLP中流行的unsupervised pretrain外加10% 的有监督label进行微调的范式。 预训练阶段在没有先验的情况下学习没有标签的数据。论文中也提到了使用较深和较宽的神经网络可以提高label-efficient,并极大地提高准确性。 与SimCLRv1采用ResNet-50的策略不同,SimCLRv2中的Large model直接上152层的ResNet,其通道是前者的三倍同时也采用了SK随着应用大规模的模型,一方面是提升精度,另一方面也却显得有点笨重。后面还是通原创 2020-10-12 13:32:00 · 832 阅读 · 0 评论 -
9.无监督学习simclr中的数据增强
重新评估数据增强方式是simclr取得成功的关键之一,之前的文章设计了一系列复制的数据增强,我们发现只需要随机裁剪就够了如图3所示,它创建了一系列包含上述两个任务的预测性任务。数据增强操作的组成对于学习良好的表示形式至关重要为了系统地研究数据扩充的影响,我们在这里考虑几种常见的扩充。一类扩充涉及数据的空间/几何变换,例如裁剪和调整大小(水平翻转),旋转(Gidaris等,2018)和剪切(De-Vries&Taylor,2017)。另一种类型的增强涉及外观变换,例如颜色失真(包括颜色下降,亮度,对原创 2020-10-12 19:08:55 · 992 阅读 · 0 评论 -
10.无需负样本的自监督学习 BYOL
(2020年6月13日提交)无需负样本的自我监督学习不易受批次大小和数据增强的影响比传统的对比度学习与ImageNet分类等准确率更高。DeepMind提出了一种新的自监督学习方法Bootstrap Your Own Latent(BYOL).自监督学习是无监督学习的一种,它是一种标在这种类型的学习中,教师是由输入数据本身创建的,而不使用自我监督学习。例如,自监督学习可以通过隐藏一部分图像数据,并对未隐藏的部分图像数据作为输入进行预测,从而学习图像的表示。在传统的著名模型如SimCLR和MoC原创 2020-10-13 11:48:19 · 1188 阅读 · 0 评论 -
11.MOCO v3
paper链接:https://arxiv.org/abs/2104.02057摘要1.作者分析了训练self-supervised ViT过程中的一些现象,指出“训练过程的不稳定”是影响accuracy的一个主要的因素,但是这个因素也存在于一些看起来不错的结果里,所以往往是不容易被发现的。2.基于对训练过程中梯度的观察,作者提出了一个简单的trick(use fixed random patch projection,即固定住ViT的patch projection层)用于提升稳定性。详细重头戏原创 2021-04-18 20:48:47 · 452 阅读 · 1 评论