自监督学习都有哪些

最新推荐文章于 2024-06-27 14:56:45 发布
最新推荐文章于 2024-06-27 14:56:45 发布
阅读量491 收藏
点赞数
分类专栏： 深度学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_61057398/article/details/127259080
版权

⾃监督学习算法分为两种： 生成式自监督学习与对比式自监督学习：

 

        生成式：训练编码器将输入x编码成显式向量z，解码器从z重建x，最小化重建误差；

 

        对比式：编码器将输入x编码成显式向量z以度量相似性（例如互信息最大化）。（对⽐学习要做的就是学习⼀个编码器f，这个编码器f能够拉近x与其正样本间的距离，推远x与其负样本之间的距离。即：）

我爱派生
关注
专栏目录
机器学习13 -- 无监督学习之自监督 self-supervised
谢杨易的博客
09-12 1万+
1 为什么要自监督学习 self-supervised learning 自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。 自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，
【深度学习】自监督学习详解（self-supervised learning）
热门推荐
Danger的博客
01-30 1万+
详解！自监督学习：对比学习和生成学习。
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 8523
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
自监督学习：生成和对比方法综述
06-19
自监督学习作为一种新的学习方法，近几年在表征学习方面取得了骄人的成绩，其利用输入数据本身作为监督，并使得几乎所有类型的下游任务都受益。
自监督学习简介
chumingqian的博客
06-23 9637
自监督学习是可以看做是一种特殊的无监督学习的一个子类别（但并非无监督学习），因为它利用了未标记的数据。
自监督学习的知识点总结
deephub
03-17 4891
本篇文章将对自监督学习的要点进行总结，包括以下几个方面： 监督学习与自监督学习 自监督学习需求背后的动机 NLP 和CV中的自监督学习 联合嵌入架构 对比学习 关于数据增强的有趣观察 非对比学习 总结和参考 监督学习与自监督学习 监督学习：机器学习中最常见的方法是监督学习。在监督学习中，我们得到一组标记数据（X，Y），即（特征，标签），我们的任务是学习它们之间的关系。但是这种方法并不总是易于处理，因为- 训练通常需要大量数据，而标记数百万行数据既耗时又昂贵，这就对许多不同任务的训练模型造成了瓶颈。 以
自监督学习简介以及在三大领域中现状
deephub
11-07 4243
机器学习大致分为监督、无监督、半监督和强化学习问题。机器学习通过解决监督学习问题获得了大部分成功。监督学习通过学习任务中被标记的数据，为最先进的模型提供了更多的性能提升机会。 近几年，通过监督学习进行的深度学习也取得了巨大的成功。从图像分类到语言翻译，它们的性能一直在提高。然而在一些领域（例如罕见疾病的医疗数据集）中，收集大型标记数据集是昂贵且不可能的。这些类型的数据集为自监督算法提供了充足的机会，以进一步提高预测模型的性能。 自监督学习旨在从未标记的数据中学习信息表示。在这种情况下，标记数据集比未标记数据
自监督学习概述
weixin_45657478的博客
07-15 1228
自监督学习（self-supervised learning)分为生成学习（generative learning）和对比学习（contrastive learning）
自监督学习的范式变迁
06-26
自监督学习是当前人工智能领域的一个重要研究方向，它在机器学习的众多分支中具有独特的地位。要了解自监督学习的范式变迁，我们...随着技术的进步和研究的深入，自监督学习的理论和应用都将得到进一步的发展和优化。
【自监督学习】对比学习（Contrastive Learning）介绍
Roaddd的博客
03-15 1万+
我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。
【机器学习】什么是监督学习、半监督学习、无监督学习、自监督学习以及弱监督学习
Roaddd的博客
03-14 2977
注：其实现在很多论文里对自监督和无监督已经不做区分。
自监督、对比学习、contrastive learning、互信息、infoNCE等
The smart is sexy
11-16 1万+
对比学习是自监督的一种，现在很火。自监督属于无监督的一种，即没有标记数据，相当于 cluster 聚类来判断物体类别（所以在label少的时候，unsupervised learning可以帮助我们学到data本身的high-level information，这些information能够对downstream task有很大的帮助。） 理解对比学习，首先需要理解 互信息 ，因为只有知道了，我们需要加大什么互信息，才能更好的设计正负样本，从而利用对比学习来设计任务提高。 互信息 [苏神] 好特征的基
自监督学习(Self-supervised Learning)的深刻理解
刘望的博客
07-09 8197
参考资料 [1] 本文主要参考资料来自https://zhuanlan.zhihu.com/p/125721565
KDD 2022 | GraphMAE：生成式图自监督学习超越对比学习
Paper weekly
07-11 3551
©作者 | 张欣单位 | 香港理工大学研究方向 | 图神经网络、自监督学习论文标题：GraphMAE: Self-Supervised Masked Graph Autoencoders论文作者：Zhenyu Hou, Xiao Liu, Yukuo Cen, Yuxiao Dong, Hongxia Yang, Chunjie Wang, Jie Tang收录会议：KD...
机器学习之监督学习-分类
你通透就好 别问我是谁
09-03 589
机器学习之监督学习-分类 一、分类问题概念 分类问题（classification problems） 输入特征（input features）：x(i)x^{(i)} （定义域：实数） 输出（output）：y(i)y^{(i)} （值域：离散值） 模型参数（model parameters）：θθ 参考网址：http://blog.cs
#今日论文推荐#KDD 2022 | GraphMAE：生成式图自监督学习超越对比学习
w1hsxn的博客
07-12 286
这篇工作提出了一个新的生成性自监督学习模型 GraphMAE，利用遮蔽策略使其获得超过对比学习的表现。
【TensorFlow深度学习】“自我监督学习框架解析：生成模型、对比学习与混合方法“
最新发布
沐风—云端行者
06-27 635
自回归模型基于序列数据，通过条件概率链式法则分解联合分布，如自然语言处理中的GPT系列模型，它们利用Transformer架构实现文本的自回归生成，通过最大化给定前序词的下一个词的概率来学习语言结构。此方法结合了生成模型和对比学习的优点，例如使用生成对抗网络(GANs)框架，在生成样本的同时，通过对比学习机制优化表征，强化模型的泛化能力。此方法结合了生成模型和对比学习的优点，例如使用生成对抗网络(GANs)框架，在生成样本的同时，通过对比学习机制优化表征，强化模型的泛化能力。
自监督学习的兴起：生成模型在无标签数据下的崛起
AI天才研究院
12-27 647
1.背景介绍 自监督学习(Self-supervised learning)是一种机器学习方法，它利用无标签数据进行模型训练。在传统的监督学习中，我们需要大量的标签数据来训练模型，但是在实际应用中，标签数据的收集和标注是非常困难和昂贵的。因此，自监督学习提供了一种新的方法，通过在无标签数据上进行学习，从而提高模型的训练效率和性能。 自监督学习的核心思想是通过在无标签数据上进行预处理，生成一些与...
机器学习笔记：自监督学习
qq_40206371的博客
08-14 1374
每一步编码器都会进行更新，这样最新的 query 采样得到的 key 可能是好多步之前的编码器编码得到的 key。上述的基于对比学习的方法，还是需要基于某一特定的对比任务 ，那么有没有更通用一点的对比学习呢》这样的损失函数（InfoNCE）·会鼓励相似性度量函数（点积）将较大的值分配给正例，将较小的值分配给负例。问题在于，由于算力和计算资源的限制，batch size不能设置的过大——>效率不高。随机的将图片中的一部分删掉，然后利用剩余的部分来预测扣掉的部分。与正样本之间的距离拉近，负样本之间的距离推开。.
自监督的对比学习框架都有哪些
06-02
自监督学习的对比学习框架有很多，以下是一些常见的框架： 1. Contrastive Predictive Coding (CPC)：通过预测序列中距离较远的位置的相对位置关系来学习特征表示。 2. SimCLR：通过对同一图像的不同视角进行比较...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值