Self-supervised Learning整理

最新推荐文章于 2024-07-25 23:48:49 发布
最新推荐文章于 2024-07-25 23:48:49 发布
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 自监督学习 Modulation Recognition 文章标签： 深度学习 自然语言处理 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41380292/article/details/120178211
版权

Self-supervised Learning

Pre-train Fine-tune

Pre-train Fine-tune算是一种Transfer Learning。

首先，假设按照SimCLR中的设定，将一般的模型分为两部分，分别为Encoder和Projection Head。Encoder结构类似于AutoEncoder中的Encoder部分，输出是一个低维的张量，可以称为输入数据的表征。Projection Head可以认为是一个全连接层，将Encoder输出的张量映射为更低维的张量（或者称为嵌入向量）。
在这里插入图片描述

Pre-train就是预训练Encoder部分，得到一个有用的表征，通过Projection Head得到输出的嵌入向量，进行损失函数计算和模型更新。然后在不同的下游任务中，删掉Projection Head，重新训练。

预训练Encoder的过程就是Pre-train；删掉Projection Head，重新训练的过程就叫做Fine-tune

此处的重新训练可以分为两种：

  1. ConvNet as fixed feature extractor：即删掉Projection Head后，重新训练一个Projection Head。
  2. Fine-tuning the ConvNet：即对Encoder进行微调，同时重新训练一个Projection Head

对于Self-supervised Learning，要明确其严格意义上讲叫做无监督表示学习。和传统的无监督学习不同，SSL最终还是会用到有标记数据，只不过相对于监督训练，可以在极小的有标记数据下实现较高的正确率。

SSL一般将Pre-train和下游任务的fine-tune分开，不过也有很多文章尝试将二者结合起来。总而言之，四个词总结为：

Unsupervised Pre-train, Supervised Fine-tune.

Self-supervised Learning

Self-supervised Learning就是通过大量无标记数据，找寻数据之间的内在关系，建立一个能够提取泛化特征的Encoder，然后根据下游任务的需要，在下游任务的少量有标记数据集中进行Fine-tune。从生物的角度讲，可以理解为在无标记数据集中培育一个干细胞，然后在具体的下游任务中，利用少量资源，就可以将干细胞分化为红细胞、白细胞、上皮细胞；而不是每次都搞大量资源从头开始造不同结构的不同细胞。根据寻找这种内在关系的方式不同，可以将SSL分为两个大类（也有文章分为三个大类）：

  1. 基于生成/预测的SSL
  2. 基于对比的SSL

基于生成/预测的SSL

image-20210828153720420

对于第一种，基于生成/预测的SSL，典型的有Context Encoders: Feature Learning by Inpainting，通过对图像的一部分扣除，将扣除后剩余部分进行Encoder，输出一个大小与扣除部分相同的张量，然后将扣除的部分和Encoder输出的部分做Loss，就可以让Encoder全面的知道输入的图片究竟是怎么样的。（当然也可以用来做一些图像补全工作）

image-20210828195036104

基于对比的SSL

这部分是目前研究的重点，有一些典型的文章：

DIM

原文：Learning Deep Representations By Mutual Information Estimation And Maximization
解读：to do …

CPC

原文：Representation Learning with Contrastive Predictive Coding
我的解读

CMC

原文：Contrastive Multiview Coding
解读：to do …

MoCo

原文：Momentum Contrast for Unsupervised Visual Representation Learning
解读：to do …

SimCLR(*****)

SimCLR及其改进版本SimCLR-v2，其完整过程请参考（大佬们已经总结得十分详细了，没有必要再整理了）：

详细介绍

精简思路

ccjoffrey
关注
专栏目录
【系列论文研读】Self-supervised learning：rotating，M&M tuning，Jigsaw++
Always_ease的博客
07-10 2341
Self-supervised Spatiotemporal Feature Learning by Video Geometric Transformations 处理数据：video 方法： a set of pre-designed geometric transformations (e.g. rotating 0°, 90°, 180°, and 270°) are applied...
2023/8/20周报 自监督学习
user_s1的博客
08-20 204
本周通过对自监督学习的一些案例进行学习从而了解了自监督学习的一些基础概念。自监督学习是无监督学习里面的一种，也被称作pretext task。自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。找到合适的辅助任务（pretext）对于自监督学习是最需要解决的问题。与数据特点相比，辅助任务难一些有助于性能提升。数据和资源越多，自监督预训练的效果会更好（Bert）。
自监督学习概述(Self-Supervised Learning，SSL)
最新发布
m0_59257547的博客
07-25 1029
自监督学习（Self-Supervised Learning，SSL）是一种机器学习方法，旨在利用未标记数据进行训练。这种方法通过从数据本身生成伪标签，来创建监督信号，使得模型能够学习有效的数据表示。自监督学习在深度学习领域尤其受到关注，因为标记数据往往昂贵且难以获得，而未标记数据则大量存在。
自监督学习（Self-Supervised Learning）
A17756070461的博客
05-20 6727
自监督学习（Self-Supervised Learning） 在神经网络的训练中，良好的性能通常需要大量有标签的数据，但是收集带有手工标签的数据是非常昂贵的(例如ImageNet)，并且很难扩大规模。考虑到未标记数据(如免费文本，互联网上的所有图像)的数量远远超过人类管理的标记数据集的数量，不使用它们是一种浪费。然而，无监督学习并不容易，而且效率通常比监督学习低得多。如果我们可以为无标记的数据免费获得标签，并以监督的方式训练无监督的数据集，那会怎么样呢？我们可以通过构建一个特殊形式的监督学习任务来实现这一
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 8281
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
【深度学习】自监督学习详解（self-supervised learning）
Danger的博客
01-30 1万+
详解！自监督学习：对比学习和生成学习。
EEG and Self-supervised Learning
03-22
标题 "EEG and Self-supervised Learning" 涉及到的是使用深度学习技术对脑电图（EEG）数据进行分析的研究领域。EEG是一种记录大脑电活动的技术，广泛应用于神经科学、医学诊断和生物信号处理。自我监督学习是机器...
Self-supervised learning methods and applications in medical im
09-25
自我监督学习方法与医疗成像分析的应用：一项调查 在医疗成像分析领域，高质量注释的医学图像数据集的可用性是一个重大问题，它阻碍了机器学习应用的发展。自我监督学习是一种新兴的训练范式，它允许在无需人类注释...
【GNN综述_2021_11】Graph Self-Supervised Learning: A Survey
09-02
图神经网络（GNNs）是深度学习在处理图数据时的重要工具，它们能够学习节点、边和整个图的表示。然而，传统的图学习方法，尤其是（半）监督学习，严重依赖于大量的人工标签，这限制了其泛化能力和鲁棒性。...
Pareto Self-Supervised Training for Few-Shot Learning.pdf
11-17
为了解决这个问题，自监督学习（Self-Supervised Learning, SSL）引入了一种新的思路，它通过利用未标记数据来构建监督信号，无需大量人工标注。 小样本辅助学习（Few-shot Auxiliary Learning）是结合FSL和SSL优势...
Self-Supervised-Learning-in-Medical-Imaging
03-13
医学影像中的自我监督学习 与医学影像有关的自我监督论文的不完整清单，重点是分析。 2021年 。 TMI。 。 TMI。 。 TMI。 。 TMI。 。 医学图像分析。 。 医学图像分析。 。 （接受）AAAI2021。... ECCV2020
自监督学习 | (1) Self-supervised Learning入门
胭脂草的ABC博客
06-23 754
自监督学习 | (1) Self-supervised Learning入门 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度、更新参数），通过不断的学习，最终可
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 2191
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
【机器学习基础】Self-Supervised Learning入门介绍
fengdu78的博客
11-26 500
引子最近 self-supervised learning 变得非常火，首先是 kaiming 的 MoCo 引发一波热议，然后最近 Yann 在 AAAI 上讲 self-superv...
Self-Supervised Learning 的近期发展综述
Bruce_0712的博客
06-08 613
前言 今年（2020） Self Supervised Learning （SSL） 的研究来到了新的高峰。 不仅在AAAI 上 LeCun， Bengio 与 Hinton 都对这领域寄与厚望;最近发表的文章也显示 SSL 得到的模型表现在 ImageNet dataset 上逐渐逼近了传统 Supervised Learning 的表现了。 近年ResNet-50在 ImageNet 上的表现 在实际应用中（例如业界中已经部署的模型）， Self Supervised Learning 未必
Self-supervised Learning
zzz_qing的博客
04-23 144
Self-Supervised Learning，又称为自监督学习。一般机器学习分为有监督学习，无监督学习和强化学习。而 Self-Supervised Learning 是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务 (Downstream Tasks)。其主要的方式就是通过自己监督自己。
自监督学习(Self-Supervised Learning)
程序员光剑
07-12 482
自监督学习(Self-Supervised Learning) Self-Supervised Learning. 自监督学习(Self-Supervised Learning)是一种无监督表示学习方法，
自监督学习（self-supervised learning）（20201124）
热门推荐
WallE
11-24 1万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
【李宏毅2021机器学习深度学习】7-3和7-4 自监督式学习（Self-supervised Learning）
py今天刷题了吗
12-23 753
文章目录3_BERT的奇闻轶事Why does BERT work？To Learn MoreMulti-lingual BERT（多语言BERT）BERT有跨语言的功能？前提是资料量要够多才能train起来..，过了两天loss掉下去了BERT还有很多不被理解的，说明可以探究的空间很大4_GPT的野望20分钟就可以微调作业7了，但GPT实在太过巨大了，train一个epoch可能都有困难How to use GPT？Self-supervise Learning还有更多的领域应用，不止在翻译，还有CV你也
self-supervised learning
09-21
自我监督学习是一种机器学习方法，通过对数据进行合理的预测任务，从中获得有用的表示。与传统的监督学习不同，自我监督学习不需要人工标注的标签来指导训练，而是利用数据自身的信息进行训练。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值