自监督学习：综述

已于 2022-12-12 15:43:24 修改
阅读量226 收藏 2
点赞数
分类专栏： LLM 文章标签： 自监督学习
于 2022-12-12 15:20:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/128287753
版权
本文全面探讨了自监督学习的概念，这是一种新兴的机器学习方法，通过利用数据本身的结构进行无监督预训练。自监督学习在图像分类、自然语言处理等领域展现出强大的潜力，能够提升模型的泛化能力并减少对大量标注数据的依赖。文章详细阐述了自监督学习的基本原理、常用技术如MoCo、SimCLR，并分析了其在实际应用中的挑战及未来发展方向。
摘要由CSDN通过智能技术生成

 

 

 

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
自监督学习：生成和对比方法综述
06-19
自监督学习作为一种新的学习方法，近几年在表征学习方面取得了骄人的成绩，其利用输入数据本身作为监督，并使得几乎所有类型的下游任务都受益。
深度神经网络自监督视觉特征学习综述
10-25
自监督学习通过设计巧妙的任务或约束，使得模型能够从无标签数据中自动学习到有用的特征表示，从而在视觉任务上取得与有监督学习相当甚至更好的性能。 自监督学习的核心思想是利用数据本身的结构信息作为监督信号，...
【自监督学习综述】A Survey on Contrastive Self-Supervised Learning
qq_42352772的博客
07-04 5216
对比自监督学习研究综述
自监督学习技术综述
weixin_42010722的博客
03-24 1282
人工智能是当前科技领域最热门的话题之一。随着人工智能的发展，研究人员们不断探索新的技术手段和方法，以进一步提升人工智能系统的性能和能力。目前，人工智能的发展趋势主要包括大模型、多模态、知识蒸馏和自监督的结合。大模型是指通过增加模型参数、层数和计算资源，以提高模型的性能和表现。在自然语言处理和计算机视觉等领域，深度学习模型的表现和性能都得到了巨大的提升，这得益于大模型的应用和发展。多模态是指结合不同的数据来源，例如图像、文本、语音等，以提高模型的性能和能力。
自监督学习综述
最新发布
Orange_sparkle的博客
12-19 1764
其实自监督学习的核心思想很简单，利用大量的无标签数据训练模型，然后将其作为预训练模型在下游任务上进行微调（有标签）。在用无标签图像训练模型时主要通过设计辅助任务，用图像自身的信息作为标签训练。常见的就是对比学习，将原图本身和经过图像增强的图像作为正样本，其他作为负样本。对比学习，cv通过对输入图像进行数据增强，将数据增强的图像作为原图的正样本，其他输入图像作为负样本。但是这种模式在nlp中却不好使用，将一句话中的单词替换为同义词，预测的结果很可能会产生偏差，所以nlp选择用dropout的方法。
【自监督学习综述】Self-Supervised Visual Feature Learning With Deep Neural Networks: A Survey
qq_42352772的博客
07-06 2273
深度神经网络的自监督视觉特征学习：一项调查
半监督学习研究综述 半监督
04-19
半监督学习研究综述 本文是关于半监督学习的研究综述，旨在介绍半监督学习的基本概念、经典方法和基于GAN的半监督学习模型。半监督学习是机器学习领域中的一种重要方法，它可以同时利用有标签数据和无标签数据来...
《深度半监督学习》综述论文
06-12
深度半监督学习是当前机器学习和人工智能领域中的一个重要研究方向，它旨在通过充分利用大量未标记的数据和少量标记的数据来提升模型的学习效率和泛化能力。在机器学习领域，数据标注是一项耗时、昂贵且有时难以进行...
弱监督学习综述【南京大学周志华教授】.zip
02-03
本文主要介绍三种典型的弱监督：不完全、不确切和不准确监督。尽管三者可以分开讨论，但是实践中它们通常同时出现。由于篇幅限制，本文实际上扮演了更多文献索引而非文献综述的角色。
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
Lethe's Blog
10-11 6955
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey Abstract Large-scale labeled data are generally required to train deep neural networks in order to obtain better performance in visual feature learning from images
2023-自监督学习综述
qq_45745941的博客
03-15 1131
自我监督的方法主导了监督学习。他们使用大量免费获取的未标记数据。自监督学习方法已被证明在困难的下游任务中是有效的，如图像分类、对象检测、图像分割和其他带有少量标签输入的任务。本文的作者研究了SSL应用领域以及各种类型的学习。当与其他学习方法结合使用时，SSL可以取得更大的成功。不同的代理任务产生不同的监督信号，可以帮助网络学习更多的典型特征。在现有的大多数自监督视觉特征学习算法中，ConvNet被训练来解决一个代理任务。只有少数研究考察了自我监督特征学习的多重代理任务学习。
自监督学习self-supervised learning 概述
二十年蝉电子学习博客
11-22 1894
深度学习被分为：监督学习，无监督学习和自监督学习。监督学习近些年获得了巨大的成功，但是有如下的缺点：1.人工标签相对数据来说本身是稀疏的，蕴含的信息不如数据内容丰富；2.监督学习只能学到特定任务的知识，不是通用知识，一般难以直接迁移到其他任务中。无监督学习算法的结果可能不太准确,因为输入数据没有标记,并且算法事先不知道确切的输出。由于这些原因，自监督学习的发展被给予厚望。自监督学习（Self-Supervised Learning）是无监督学习里面的一种，也被称作(pretext task)
自监督学习推荐系统综述: 150篇自监督推荐系统文献概述四大类方法（含开源算法库SELFRec）...
m0_37586850的博客
04-10 668
省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库快手推荐系统精排模型实践淘宝首页信息流推荐系统实践重排序在快手推荐系统中的实践某短视频APP推荐算法及策略最详细拆解机器学习在B站推荐系统中的应用实践小红书推荐系统中台应用实践微信视频号实时推荐技术架构分享推荐系统的变与不变：冷启动、召回排序等对比学习在快手推荐系统中的应用实践知识图谱在美...
北大/港大/百度提出CAE：自监督学习新范式！用于SSL的上下文自动编码器
阿木寺的博客
02-21 1051
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达转载自：机器之心 | 作者：陈小康来自北京大学、香港大学和百度的研究者近日提出了一种名为CAE的新型 MIM 方法。掩...
自监督学习相关概念及论文简述
qq_41980080的博客
12-14 451
在预训练过程中，BEiT 先将原始图片标记化，并且对图像块进行随机掩码，并将掩码后的图片输入到编码器当中，主要的预训练目标便是基于未掩码图像块来恢复掩码图像块。论文思想：MAE 相比于 BEiT，简化了整体训练逻辑，利用随机掩码处理输入的图像块，以及直接重建掩码图像块来进行训练。论文思想：SimMIM认为掩码部分采用随机掩码，并且适当增大图像块的分辨率即可获得很好的结果，并且文章中提供了对比试验的结果，当图像块分辨率为 32x32 时可以获得最好的效果，并将其设置为 ViT 模型的默认设置。
对比自监督学习综述 - A Survey of Contrastive Self-Supervised Learning
Xovee
12-24 7881
本文介绍了最近流行的对比自监督学习。
对比学习综述
flyingluohaipeng的博客
01-05 3734
它们使用的代理任务是不一样的，有个体判别，有预测未来，还有多视角多模态它们使用的目标函数也不尽相同，有 NCE，有infoNCE，还有NCE的其它变体它们使用的模型也都不一样，比如说invariant spread用了一个编码器；Inst Disc用一个编码器和memory bank；CPC有一个编码器，还有一个自回归模型；CMC可能有两个甚至多个编码器它们做的任务从图像到视频到音频到文字到强化学习，非常的丰富多彩。目标函数都是用infoNCE或者infoNCE类似的目标函数去算的。
自监督学习（Self-supervised Learning）
热门推荐
乐乐lelele的博客
12-08 4万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值