自监督学习

最新推荐文章于 2023-06-23 15:57:55 发布
最新推荐文章于 2023-06-23 15:57:55 发布
阅读量99 收藏
点赞数
分类专栏： 深度学习入门 文章标签： 学习 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kl1411/article/details/128516066
版权

Self-supervised Learning先把参数从一张白纸训练到初步成型，再从初步成型训练到完全成型。

预训练模型的时候，就是模型参数从一张白纸到初步成型的这个过程，还是用无标签数据集。
等我把模型参数训练个八九不离十，这时候再根据你下游任务 (Downstream Tasks) 的不同去用带标签的数据集把参数训练到完全成型，那这时用的数据集量就不用太多了，因为参数经过了第1阶段就已经训练得差不多了。

第一个阶段不涉及任何下游任务，就是拿着一堆无标签的数据去预训练，没有特定的任务，这个话用官方语言表达叫做：in a task-agnostic way。
第二个阶段涉及下游任务，就是拿着一堆带标签的数据去在下游任务上 Fine-tune，这个话用官方语言表达叫做：in a task-specific way。
 
https://mp.weixin.qq.com/s?__biz=MzI5MDUyMDIxNA==&mid=2247599938&idx=1&sn=45b61cf5f5b2036fbf3767779369864e&chksm=ec1daabbdb6a23ad3b15b0773a5688bea96a93e4c25af8b8a36dac7b961887d7897b42c82dce#rd

WX Chen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
从顶会看自监督学习最新研究进展
03-22
近年来，深度监督学习取得了巨大的成功。然而，它依赖于手工标签，并且易受攻击的弱点促使学者们探索更好的解决方案。近年来，自监督学习作为一种新的学习方法，在表征学习方面取得了骄人的成绩并吸引了越来越多的注意。自监督表示学习利用输入数据本身作为监督信号，几乎有利于所有不同类型的下游任务。
自监督学习：生成和对比方法综述
06-19
自监督学习作为一种新的学习方法，近几年在表征学习方面取得了骄人的成绩，其利用输入数据本身作为监督，并使得几乎所有类型的下游任务都受益。
自监督学习简介
chumingqian的博客
06-23 5689
自监督学习是可以看做是一种特殊的无监督学习的一个子类别（但并非无监督学习），因为它利用了未标记的数据。
自监督学习（self-supervised learning）（20201124）
WallE
11-24 1万+
看论文总是会看出来一堆堆奇奇怪怪的名词。 从远程监督、有监督、半监督、无监督开始，最近又看到了一个自监督。 首先先对上面的概念进行简述： 半监督（semi-supervised learning）：利用好大量无标注数据和少量有标注数据进行监督学习； 远程监督（distant-supervised learning）：利用知识库对未标注数据进行标注； 无监督：不依赖任何标签值，通过对数据内在特征的挖掘，找到样本间的关系，比如聚类相关的任务。 自监督：利用辅助任务从无监督的数据中挖掘大量自身的信息。
深度学习中有监督，无监督， 自监督学习
chumingqian的博客
06-20 9799
半监督或弱监督混淆：（半监督和弱监督）指的是在数据集中部分一些例子X没有标签，但是数据的人工标签是存在的。
自监督学习（Self-supervised Learning）
热门推荐
乐乐lelele的博客
12-08 4万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
自监督学习的范式变迁
06-26
自监督学习的范式变迁，The Paradigm Shift of Self-Supervised Learning，by Carlos E.perez。
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
03-27
Github代码复现——自监督学习SimCLR跑自己的数据集（TensorFlow2）
ICLR 2021上与【自监督学习】 & 【Transformer】相关的论文
10-21
国际表示学习大会（The International Conference on Learning ...为了分析最新研究动向，本文精选了涵盖自监督学习、Transformer、图神经网络、自然语言处理、模型压缩等热点领域，将分多期为大家带来系列论文解读。
batch size设置技巧
WX_Chen的博客
10-09 1万+
显存占用不是和batch size简单成正比 增大batch size能减缓梯度震荡，需要更少的迭代优化次数，收敛的更快，但是每次迭代耗时更长。 https://zhuanlan.zhihu.com/p/31558973 要想收敛到同一个最优点，使用整个样本集时，虽然迭代次数少，但是每次迭代的时间长，耗费的总时间是大于使用少量样本多次迭代的情况的。 实际上，工程上在使用GPU训练时，跑一个样本...
ValueError: Cannot feed value of shape (50,) for Tensor 'Placeholder_1:0', which has shape '(?, 10)'
WX_Chen的博客
11-20 1万+
在写一个读取mnist的代码时，出现如下错误： ValueError: Cannot feed value of shape (50,) for Tensor 'Placeholder_1:0', which has shape '(?, 10)'   其实原因是没有加OneHot，修改如下： mnist = input_data.read_data_sets('./mnist', on...
pytorch实战遇到的bugs
WX_Chen的博客
06-17 5989
在训练和测试的时候都遇到这个问题， _error_if_any_worker_fails() RuntimeError: DataLoader worker (pid 8565) is killed by signal: Killed.   还有这个， RuntimeError: $ Torch: not enough memory: you tried to allocate   ...
网络收敛问题汇总
WX_Chen的博客
10-09 4751
loss太大：把lr改小 loss的下降速度非常慢：batchsize太小 训练集的损失已经下降到比较满意的值，但是（！！！！）验证集上的损失几乎没有下降，或者是说相比与训练集的损失值不在一个数量级上！！！ 最本质的原因：网络模型在小数据库上出现过拟合。 训练数据太少 精度不高或者为0的问题结果 来自 <http://www.cnblogs.com/hust-yingjie/p...
dropout层
WX_Chen的博客
10-09 2636
tf.nn.dropout是TensorFlow里面为了防止或减轻过拟合而使用的函数，它一般用在全连接层。 tf.nn.dropout(x, keep_prob, noise_shape=None, seed=None, name=None)  上面方法中常用的是前两个参数： 第一个参数x：指输入 第二个参数keep_prob: 设置神经元被选中的概率,在初始化时keep_prob是一个占位符,...
激活函数和损失函数
WX_Chen的博客
08-08 2303
激活函数 在之前的logistic和神经网络中，激活函数是sigmoid, 损失函数是平方函数。但是这并不是固定的。   激活函数的主要作用是提供网络的非线性建模能力。 只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。   常见的激活函数多是分段线性和具有指数形状的非线性函数。   损失函数 其中y是我们期望的输出，a为神经元的实际输出 因为s...
激活函数 损失函数 优化器
WX_Chen的博客
10-10 1418
均方差损失函数+Sigmoid的反向传播算法中，每一层向前递推都要乘以σ′(z)（激活函数的导数）,得到梯度变化值。Sigmoid的这个曲线意味着在大多数时候，我们的梯度变化值很小，导致我们的W,b更新到极值的速度较慢，也就是我们的算法收敛速度较慢。 使用交叉熵损失函数，得到的梯度表达式没有了σ′(z)，梯度为预测值和真实值的差距，这样求得的Wl,bl的梯度也不包含σ′(z)，因此避免了反向传播收...
Embedding层
WX_Chen的博客
10-09 1384
为什么要使用嵌入层 Embedding呢? 主要有这两大原因: 1、使用One-hot 方法编码的向量会很高维也很稀疏。 2、训练神经网络的过程中，每个嵌入的向量都会得到更新。 “deep learning is very deep” 通过索引对该句子进行编码 1 2 3 4 1 创建嵌入矩阵 这样，我们就可以使用嵌入矩阵来而不是庞大的one-hot编码向量来保持每个向量更小。简而言之，嵌...
训练集 验证集 测试集
WX_Chen的博客
10-09 1260
训练集loss < 验证集loss < 测试集loss 一个好的网络，二者的差距应该是很低的。但一般情况下因为网络不可避免地存在一定程度上的过拟合，所以肯定是train_loss低于test_lost，但如果低太多，就得考虑是过拟合的问题还是因为样本的特征空间不统一的问题。 http://www.mooc.ai/bbs/question/1426/show 验证集基本是在每个epoc...
自监督学习pytorch
最新发布
10-06
自监督学习是一种无需人工标注标签的学习方法，它通过从输入数据中生成预测目标来进行训练。在pytorch中，有多种方法可以实现自监督学习。 自监督学习的一种常见方法是使用自编码器。自编码器是一种由编码器和解码...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

WX Chen

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值