2021-03-10最简单的self-supervised方法

最新推荐文章于 2024-05-30 21:43:43 发布
最新推荐文章于 2024-05-30 21:43:43 发布
阅读量526 收藏 1
点赞数
文章标签： 自监督学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cp_oldy/article/details/114629329
版权

在这里插入图片描述
最简单的self-supervised方法

Barlow Twins。 在不考虑数据增强这种大家都有的trick的基础上， Barlow Twins 既没有使用负样本，也没有动量更新的网络，也没有predictor和stop gradient操作。Twins 所做的是换了一种视角去学习表示，从embeddig本身出发，而不是从样本出发。优化目标是使得不同视角下的特征的相关矩阵接近恒等矩阵，即让不同的维度的特征尽量表示不同的信息，从而提升特征的表征能力。 这种做法，感觉和以前传统降维（如PCA）的方法是有共通之处的。

在这里插入图片描述
详情可以看看loss的部分。

一亩高粱
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
barlowtwins:Barlow Twins纸的实施
03-12
barlowtwins Barlow Twins的PyTorch实施论文： 目前这项工作正在进行中。 该代码是SimSiam实现的修改版本 在V100 GPU上，每个纪元的时间约为40秒 GPU使用量约为9 GB 当前版本的测试准确性达到84.7％左右 去做： 从0开始的热身学习率 报告关于cifar-10的结果 创建公关以轻松添加 安装 pip install -r requirements.txt 依存关系 火炬 PyTorch闪电 火炬视觉 轻轻 基准测试 我们遵循KNN评估协议，在CIFAR-10数据集上对BarlowTwins模型进行基准测试。 目前，尽力而为达到了84.7％的测试准确性。 准确性 失利 纸
自监督学习（Self-Supervised Learning）——Generative Methods
藏晖的博客
09-15 1925
Generative Methods是通过构建代理任务（proxy task）来进行自监督学习。 在前文（自监督学习（Self-Supervised Learning）个人小结）中我们已经讨论了这种方法的原理和为什么它可以work，本篇博客主要想总结下这类方法的几篇工作。 文献目录 [1] Xiaolong Wang, Abhinav Gupta. “Unsupervised leaning of visual representation using videos”. In: ICCV 2015. [2]
详细解析Barlow Twins：自监督学习中的创新方法
最新发布
PLUS_WAVE的博客
05-30 813
首先先简单了解一下机器学习中，主要有三种学习范式：监督学习、无监督学习和自监督学习： - **监督学习**：依赖带标签的数据，通过输入输出映射关系进行训练。 - **无监督学习**：不依赖标签，关注数据的内在结构和模式。 - **自监督学习**：利用数据本身生成标签，通过预训练任务学习有效的特征表示。 ## Barlow Twins Barlow Twins是一种基于信息论的**自监督学习方法**，其目标是减少神经元之间的冗余。该方法要求神经元对数据增强具有不变性，但彼此独立。
Facebook人工智能的一种新的自我监督学习算法：Barlow Twins
liuminasdf的博客
04-14 1468
目录 首先 Barlow Twins ​重要的消融研究 删除损失功能 批量 数据扩展的必要性 排名 额外的不对称性 结果和评价 摘要 首先 近年来，在ImageNet等大规模计算机视觉基准中，自我监督学习已经开始与监督学习竞争。在计算机视觉中，已经引入了很多数据增强的自监督学习方式。目标是学习一个不受输入变化影响的通用表示。对于一个模型来说，要实现这个目标，最容易做的就是学习一个常量表示，这是不可取的。因此，我们使用SimCLR、SimSIAM、BYOL、SwAV、SeLa等。暹罗网
自监督论文阅读笔记 Barlow Twins: Self-Supervised Learning via Redundancy Reduction
YoooooL_的博客
08-31 1458
BARLOW TWINS 在 ImageNet 上的半监督分类在低数据状态下的表现优于之前的方法（1% 标签的 55% top-1 准确率），并且与具有线性分类器头的 ImageNet 分类的当前技术水平相当，以及用于分类和目标检测的许多转移任务。使用特殊的“预测器”网络 将网络架构修改为不对称，并且 参数更新是不对称的，因此模型参数仅使用输入的一个变形版本更新，而另一个变形版本的表示用作固定目标。在最近的另一项工作中，由于这个问题有一些无效解，比如常量表示，这些方法依赖于不同的机制来学习有用的表示。...
自监督学习方法Barlow Twins
weixin_44070509的博客
08-24 1660
记录文章《Barlow Twins: Self-Supervised Learning via Redundancy Reduction》阅读笔记，论文地址。 1 Abstract & Introduction 自监督学习正在迅速发展，它主要是通过学习输入样本的不同distortions版本的不变性embedding特征。其中distortions意思就是同一输入样本经过不同的图像增强变换方式（比如随机裁剪、resize等）得到的不同版本。但这种方法会比较容易出现平凡解，现有方法都是通过实现上的细节
Self-supervised Graph Learning for Recommendation
12-20
提出的自监督图学习（Self-supervised Graph Learning, SGL）框架在最先进的LightGCN模型上进行了实现。理论分析表明，SGL具有自动挖掘困难负样本的能力。实验结果在三个基准数据集上验证了SGL的有效性，表明其能...
Self-labeled-techniques-for-semi-supervised-learning
05-15
标签中提到的"self-labeled"指的是自标记的过程，"semi-supervised-learning"表示半监督学习的场景，"tri-training"则是三重训练算法，"self-training"则对应自我训练方法。 项目报告可能涵盖了以下内容： 1. **...
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
datasets.py：训练过程中的数据预处理和数据加载方法，例如风格图像增强逻辑和草图增强逻辑。 train_step_1_ae.py：自编码器的训练细节，包括目标函数、优化方法、训练过程。 train_step_2_gan.py：GAN 的训练细节...
self-training-self-supervised-disfluency
05-27
请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。如何使用 conda create -n ss_disfluency python=3.7conda activate ss_disfluencyconda install pytorch ...
Awesome-Self-Supervised-Papers:自我监督学习纸银行
03-20
最近更新：2021. 03. 12。 更新2月，3月发表的论文 任何贡献，欢迎发表评论。 计算机视觉（CV） 预训练/功能/表示 对比学习 会议/期刊 纸 ImageNet Acc（前1名） CVPR 2006 -- arXiv：1807.03748 -- arXiv：1911....
barlowtwins:不适用
03-06
巴洛双胞胎：通过减少冗余进行自我指导的学习 Barlow Twins论文的源代码即将发布。 执照 该项目已获得CC-BY-NC 4.0许可。 有关详细信息，请参见。
机器学习13 -- 无监督学习之自监督 self-supervised
谢杨易的博客
09-12 1万+
1 为什么要自监督学习 self-supervised learning 自监督学习是无监督学习的一种特殊方式。我们在无监督学习中讲过了，标注label是十分宝贵的，一般需要人工打标，时间和人力成本都十分高昂。但现实中，获取无标注data确实相对比较easy的事情。我们可以在网络上爬取很多很多的文本、图片、语音、商品信息等。如何利用这些无标注data，一直以来都是无监督学习的一个重要方向。而自监督学习则给出了一种解决方案。 自监督学习通过data的一部分，来predict其他部分，由自身来提供监督信号，
自监督学习（二十一）Barlow Twins: Self-Supervised Learning via Redundancy Reduction
weixin_47444348的博客
05-16 2936
Barlow Twins: Self-Supervised Learning via Redundancy ReductionIntroduction Introduction 本文是由Facebook AI团队做的自监督学习的工作，作者包含Yann LeCun和Ishan Misra等大佬，论文地址如下：原文地址。 本文的方法比较简单，一定程序上和openAI之前的CLIP有点神似。该方法不需要区分正负样本，输入的数据为图像经过变换之后得到的不同增广数据AAA和BBB，作者认为网络对AAA和BBB提取得到
Self-supervised
weixin_41807182的博客
02-28 1441
本文针对自己阅读文献资料做的笔记： 目录： 1.为什么会有self-supervised？ 2.什么是self-supervised？  1.为什么会有self-supervised？         为了利用深度网络进行有监督学习时，我们需要大量有标签的数据。而现实生活中，有很多领域的有标签数据很少，而我们只能通过类似人工标注的方法获得相对应的大量标记数据，该过程是非常耗时耗力。相反，无标签的数据在当今信息时代是非
2021(SSL) 自监督学习最新力作：Barlow Twins: Self-Supervised Learning via Redundancy Reduction
要相信光
03-20 1万+
文章目录原文地址论文阅读方法初识相知2. Method3. Results4. Ablations5. Discussion回顾代码 文章目录原文地址论文阅读方法初识相知2. Method3. Results4. Ablations5. Discussion回顾代码 原文地址 https://arxiv.org/abs/2103.03230 论文阅读方法 三遍论文法 初识 背景：近两年自监督学习取得了很大的成功，其中主流的方法就是使网络学习到输入样本不同失真(distortions)版本下的不变性特征，但是
【自监督通用方法】Barlow Twins | 通过减少冗余进行的自监督学习
这个博客太懒了什么都没说
01-12 1162
通过减少冗余进行的自监督学习：Barlow Twins: Self-Supervised Learning via Redundancy Reduction (ICML 2021)
自监督学习（Self-supervised Learning）
热门推荐
乐乐lelele的博客
12-08 4万+
自监督学习(Self-supervised learning)是这两年比较热门的一个研究领域，它旨在对于无标签数据，通过设计辅助任务（Proxy tasks）来挖掘数据自身的表征特性作为监督信息，来提升模型的特征提取能力
自监督学习（SSL）Self-Supervised Learning
luemeon的博客
06-16 8046
有监督和无监督最主要的区别在于模型在训练时是否需要人工标注的标签信息。自监督学习最主要的目的就是学习到更丰富的语义表征。评测自监督学习的能力，主要是通过 Pretrain-Fintune 的模式。监督的 Pretrain - Finetune 流程：1.从大量的有标签数据上进行训练，得到预训练的模型，2.对于新的下游任务（Downstream task），我们将学习到的参数（比如输出层之前的层的参数）进行迁移，在新的有标签任务上进行「微调」，从而得到一个能适应新任务的网络。自监督的 Pretrain - F
self-supervised
06-28
自监督学习（self-supervised learning）是一种机器学习的方法，通过利用输入数据本身的特征来训练模型。在自监督学习中，模型使用未标记的数据作为训练数据，通过预测输入数据中的某些特定信息来学习特征表示。这种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值