NTU 课程笔记：self-supervised learning

最新推荐文章于 2023-09-18 21:43:15 发布
最新推荐文章于 2023-09-18 21:43:15 发布
阅读量255 收藏 1
点赞数
分类专栏： NTU课程 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40206371/article/details/121285762
版权
self-supervised learning作为一种无监督学习方式，通过数据自身提供监督信号，减少对标注数据的依赖。它在预训练阶段无需标注数据，通过设置代理任务（如relative positioning, colorization, inpainting）来学习语义表示。与autoencoder不同，self-supervised learning的代理任务具有语义意义，使得模型在预训练后能捕捉到更多语义信息。在fine-tuning阶段，预训练的参数用于有标注数据的微调，提高模型性能。" 4386877,168292,Java调用SVM模型进行预测,"['Java', '机器学习', 'SVM', 'libsvm', '数据预测']
摘要由CSDN通过智能技术生成

1 为什么需要 self-supervision？

  • 为每个新的任务都创建一个新的数据集，开销是很大的
  • 有些领域标注是很稀缺的（比如医疗领域）
  • 有些领域 数据集太大，来不及标注
  • self-supervision 很像婴儿学习的方式

2 什么是self-supervison

  • A form of unsupervised learning where the data provides the supervision（用数据本身创造label）
  • In general, withhold some part of the data, and task the network with predicting it
  • The task defines a proxy loss, and the network is forced to learn what we really
    care about, e.g. a semantic representation, in order to solve it（proxy loss~~text loss）
最低0.47元/天 解锁文章
UQI-LIUWJ
关注
专栏目录
自监督学习(Self-Supervised Learning)
AI天才研究院
07-12 552
自监督学习(Self-Supervised Learning) Self-Supervised Learning. 自监督学习(Self-Supervised Learning)是一种无监督表示学习方法，
【李宏毅机器学习笔记】11、 Semi-supervised
ACL_lihan的博客
02-21 1091
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
Self-Supervision & Meta-Learning for One-ShotUnsupervised Cross-Domain Detection
weixin_36670529的博客
02-25 1036
摘要 深度检测模型在受控环境下非常强大，但在不可见的领域应用时却显得脆弱和失败。所有改进该问题的自适应方法都是在训练时获取大量的目标样本，这种策略不适用于目标未知和数据无法提前获得的情况。例如，考虑监控来自社交媒体的图像源的任务:由于每一张图像都是由不同的用户上传的，它属于不同的目标领域，这在训练期间是不可能预见到的。我们的工作解决了这一设置，提出了一个目标检测算法，能够执行无监督适应跨领域，只使用一个目标样本，在测试时间。我们引入了一个多任务体系结构，它通过迭代地解决一个自我监督的任务，一次性适...
NLP中的self-supervision是什么意思？
最新发布
幸运的小菜鸟的博客
09-18 255
NLP（自然语言处理）中的"self-supervision"（自我监督）是一种训练模型的方法，其中模型从输入数据中自己生成标签或者目标，而无需依赖外部标注的数据。在自我监督的方法中，模型会被要求解决一个自己创建的任务，而不是依赖于人工标注的数据集。例如，在语言模型中，自我监督可以通过将一段文本中的某些词或短语遮掩，然后让模型预测被遮掩部分的内容。总的来说，自我监督是一种有效的训练方法，可以让模型在没有大量标注数据的情况下获得良好的性能，这对于许多现实世界的应用场景非常有用。
自监督学习 | (2) 一文读懂 Self-Supervised Learning
sdu_hao的博客
03-10 7545
原文地址 **导读：**最近 self-supervised learning 变得非常火，首先是 kaiming 的 MoCo 引发一波热议，然后最近 Yann 在 AAAI 上讲 self-supervised learning 是未来。所以觉得有必要了解一下 SSL，也看了一些 paper 和 blog，最后决定写这篇文章作为一个总结。 什么是Self-Supervised Learnin...
李宏毅 ML2021 学习笔记 - W7 Self-supervised Learning
irontiger65的博客
07-15 213
1. BERT 1. How to use BERT 都需要一些labled data Case 3:NLI (Natural Language Inference) 实做上，bert不能吃无限长度的输入，大概最长512左右。 2. Training BERT is challenging 3. Why does BERT work？ 前5个果是水果的果，后5个是苹果电脑的果，计算它们embedding的cosine similarity ...
【必收藏】台大李宏毅老师课程 | 资源汇总、笔记总结与索引
记录学习痕迹的公众号：Piper蛋窝
08-18 1万+
深度学习入场券？李宏毅教师的课程足矣！
李宏毅【機器學習2021】笔记
exu131g的博客
03-15 1273
文章目录預測本頻道觀看人數 (上) - 機器學習基本概念簡介什么是机器学习不同类型的函数How to find a function? A Case Study写一个新的函数，使得预测函数更加复杂更加符合实际（一周为周期）預測本頻道觀看人數 (下) - 深度學習基本概念簡介线性model太简单了Sigmoid Function重新定义一些符号。。。至此我们改进了前面提到的机器学习框架的第一步：Function with unknownLossBatchReLU实战效果多层神经网络实战效果此即深度学习为什么不
【李宏毅机器学习笔记】 17、迁移学习（Transfer Learning）
ACL_lihan的博客
02-25 2293
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
李宏毅机器学习--self-supervised：BERT、GPT、Auto-encoder
iwill323的博客
10-25 2344
李宏毅机器学习--self-supervised--BERT和GPT
解读自监督学习(Self-Supervised Learning)几篇相关paper
深度学习与计算机视觉
01-31 3620
作者：bingo本文转载自知乎，作者bingo已授权，未经许可请勿二次转载。Supervised deep learning由于需要大量标注信息，同时之...
主动学习与自监督学习结合的方法（Active Learning+Self-Supervision）
蓝鲸鱼的博客
03-20 3298
本文介绍两篇最新的结合自监督学习和主动学习的方法。 1. PAL PAL : Pretext-based Active Learning（发表于CVPR2021，论文，代码）中提出了一种基于池的主动学习方法，该方法依靠自我监督学习来减少对潜在错误标记数据的依赖，对训练数据的部分错误标记具有鲁棒性，但是对正确标记的数据的提升效果一般。 PAL的算法流程如下。可以看到在原本的分类网络训练SCS_CSC​的迭代，增加了对自监督的训练SSS_SSS​。 2. PT4AL Using Self-Supervised
Unsupervised Domain Adaptation Through Self-Supervision论文阅读笔记
lwpyh的博客
10-10 1753
这篇文章是arxiv上的一篇domian adaptation的文章，觉得这里使用的方法和之前的方法完全不同，很有意思。所以整理了一下，和大家一起分享。 本文讨论了无监督域自适应，即源域上有标记的训练数据，但目标是在目标域上只有未标记数据，希望能够通过一些方法将源域上分类器迁移到目标域上，并能在目标域上有良好的性能。与之前的许多工作一样，我们试图在保持可辨别性的同时，对源域和目标域的学习表示进行对...
自监督学习（十七）A critical analysis of self-supervision, or what we can learn from a single image
weixin_47444348的博客
08-25 833
A critical analysis of self-supervision, or what we can learn from a single imageIntroductionMethodExperiments Introduction 本文出自牛津大学视觉几何组（Visual Geometry Group），作者在文中对现在的自监督学习方法能否有效学习到图像的特征表示了怀疑。为此，作者设计了相应的实验，发现对于网络的底层特征，即使只用一张图也可以学习地不错，但是对于高层特征，即使使用百万张图也无
一文看懂半监督学习(Semi-supervised Learning)和自监督学习(Self-Supervised Learning)
qq_44015059的博客
05-30 5万+
1. 机器学习学习任务 1.1 监督学习 根据输入-输出样本对L={(x1,y1),⋅⋅⋅,(xl,yl)}L=\{(x1,y1),···,(xl,yl)\}L={(x1,y1),⋅⋅⋅,(xl,yl)}学习输入到输出的映射f:X−>Yf:X->Yf:X−>Y,来预测测试样例的输出值。SL包括分类(Classification)和回归(Regression)两类任务，分类中的样例xi∈Rmx_i∈R^mxi​∈Rm(输入空间)，类标签yi∈{c1,c2,⋅⋅⋅,cc}y_i∈\{c_1,c
自监督学习 | (1) Self-supervised Learning入门
热门推荐
sdu_hao的博客
02-26 11万+
原文地址 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度...
自监督方法与图神经网络相结合：：When Does Self-Supervision Help Graph Convolutional Networks?
gandebeautiful的博客
11-23 1247
论文笔记：When Does Self-Supervision Help Graph Convolutional Networks? Summary 本文总结了三种常用的图像上的自监督方法，并提出可以将自监督方法应用到图的领域，因此提出了适合在图上进行自监督的三种方法。论文没有进行理论证明，只是提出模型并进行相关实验，用实验数据来说明图自监督的作用。本文的突出优点是有条不紊的模型讲述以及细致的实验结果分析。实验很重要，实验结果的分析，找出实验结果中的规律也很很重要。 Problem Statement
语义分割--Mix-and-Match Tuning for Self-Supervised Semantic Segmentation
AI小作坊 的博客
12-12 2234
Mix-and-Match Tuning for Self-Supervised Semantic Segmentation AAAI Conference on Artificial Intelligence (AAAI) 2018 http://mmlab.ie.cuhk.edu.hk/projects/M&M/ https://github.com/XiaohangZhan/mix-an
98分毕设：ST-GCN骨骼动作识别项目源码与指南
- 项目可作为毕业设计、课程设计、期末大作业等，帮助学生深入理解动作识别技术。 - 本项目也适用于希望进行项目实战练习的学习者，提供从理论到实践的完整过程。 5. 源码结构与功能模块 - 项目中可能包含数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UQI-LIUWJ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值