【论文笔记】Self-Supervised MultiModal Versatile Networks

已于 2023-03-15 18:41:11 修改
阅读量647 收藏 2
点赞数 3
文章标签： 人工智能 计算机视觉 算法
于 2022-02-17 14:12:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mini_Fantasy/article/details/122982215
版权

【论文笔记】Self-Supervised MultiModal Versatile Networks

论文详细信息

题目：Self-Supervised MultiModal Versatile Networks

作者：Jean-Baptiste Alayrac, Adrià Recasens, Rosalia Schneider, Relja Arandjelovic, Jason Ramapuram, Jeffrey De Fauw, Lucas Smaira, Sander Dieleman, & Andrew Zisserman.

期刊/会议：NIPS’20: Proceedings of the 34th International Conference on Neural Information Processing Systems

时间：2020

领域： Multimedia

关键词： Multimodal interaction

What？

切入点是什么？

我们对世界的体验是多模态的。早在婴儿床上，我们就通过多个感官系统进行感知，例如，我们观看火焰在火场上跳舞，我们听到木头劈啪作响的声音，以及感觉热量的释放。通过这种多模态同步感知，我们学会了在模态之间建立有用的联系，从而使我们能够形成对世界的良好表征。后来，出现了一种语言，允许我们使用更高层次的抽象概念来交流这种细粒度的多模态体验。我们的目标是以自我监督的方式从这种多模态体验中学习表征，而无需诉诸任何特定的手动注释。

思路是什么？

作者选择了一种将每个模态嵌入向量空间的设计，这样模态之间的相似性通过简单的点积获得。每个模态都由一个适合信号性质的主干网络进行处理，并构造模态嵌入图，使得视觉和音频嵌入是细粒度的，而文本嵌入是语义粗粒度的。这种策略是基于这样一种观察：视觉和音频空间是细粒度的（有许多视觉或吉他声音可能彼此确实不同），而文本域则更粗糙，因为它的目标是抽象掉细节（例如，一个“吉他”单词）。然后，通过对大量未标记视频的自我监督对比学习，从零开始训练网络。

解决方案的关键是什么？

学习了两个嵌入空间，在细粒度空间中比较视觉和音频，而在低维粗粒度空间中比较文本、音频和视觉。关键的是Sva中的向量可以通过简单的从细到粗的投影Gva嵌入到Svat

How？

论文的具体贡献

（a）研究了MMV的不同模态嵌入图，并提出了一种简单而有效的音频、视频和语言流多模态表示的自监督训练策略；

（b）引入了一种压缩方法，使得MMV视频网络能够有效地接收静态图像；

（c）展示了学习到的表征在多个图像、视频、音频和视频文本下游任务中的优越性。

具体模型和算法

模型

图中©为作者提出的符合四条原则的嵌入方式

(i) it should be able to take as input any of the three modalities;

(ii) it should respect the specificity of modalities, in particular the fact that the audio and visual modalities are much more fine-grained than language;

(iii) it should enable the different modalities to be easily compared even when they are never seen together during training;

(iv) it should be efficiently applicable to visual data coming in the form of dynamic videos or static images.

实验结果

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

提供了哪些思路？

为多模态的嵌入网络提供了一种思路和遵循的原则

Manjusaka_L
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
self-training-self-supervised-disfluency
05-27
自我训练自我监督的流落感 结合自我训练和自我监督学习进行无监督的泄气检测 此存储库包含用于将自训练和自监督学习相结合以进行无监督流失检测的代码和模型（EMNLP 2020）。 所有代码和模型均已发布。 感谢您的耐心等待！ 关于模型 我们发布了由伪数据和语法检查模型训练的自我监督模型。 请在以下链接中下载它，并将模型放在“ self_supervised_model”和“ grammar_check_model”文件夹中。 如何使用 conda create -n ss_disfluency python=3.7 conda activate ss_disfluency conda install pytorch torchvision torchaudio cudatoolkit=10.1 -c pytorch cd transformers python setup.py insta
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
Self-Supervised MultiModal Versatile Networks
最新发布
qq_46221910的博客
10-28 121
视觉-音频空间Sva​，嵌入zvvat​。
视觉Transformer (三) VATT: Transformers for Multimodal Self-Supervised Learning from Video, Audio,Text
BearLeer的博客
06-24 2849
文章来源 paper:https://arxiv.org/pdf/2104.11178 Motivation 作者提出了一个使用无卷积transformer架构从无标签数据中学习多模态表示的框架。具体来说，Video-AudioText Transformer (VATT)将原始信号作为输入，并提取足够丰富的多模态表征，从而有利于各种下游任务(例如检测、分类、跟踪)。作者使用多模态对比损失从头到尾训练VATT，并通过视频动作识别、音频事件分类、图像分类和文本到视频检索等下游任务评估其性能。此外，作者研究了一
2021 ACL 情感分析相关文章 一览
weixin_42455006的博客
11-26 874
ACL的nlp，cv以及多模态方面的情感分析论文
论文笔记——《Multi-Modal Self-Supervised Learning for Recommendation》
qq_43725311的博客
02-28 1372
作者通过设计多模态推荐场景下的自监督任务来：1）建模模态信息启发的用户交互偏好（即，建立模态内容和协同信号之间的依赖）；2）建模各个模态之间关系；它们能够专门针对多模态场景引入自监督信号以一定程度地缓解推荐系统一直以来存在的数据稀疏性问题。模型 MMSSL 在多个公开数据集上取得了优于 SOTA 多模态推荐模型的实验结果
论文阅读笔记：Multimodal Self-Supervised Learning for Medical Image Analysis
愿十四亿神州尽舜尧
06-03 1052
来源 arxiv 标题 Multimodal Self-Supervised Learning for Medical Image Analysis 作者单位 德国波茨坦大学Hasso Plattner研究所 方法简介 关键词：自监督学习，图像拼接（Jigsaw puzzle），名义任务（pretext），下游任务（downstream task），多...
Self-Supervised-Sketch-to-Image-Synthesis-PyTorch:AAAI-2021论文“Self-Supervised Sketch-to-Image Synthesis”的pytorch实现
05-30
自监督-Sketch2Image-pytorch 自监督草图到图像模型的 pytorch 实现，该论文可以在找到。0. 数据对于 CelebA 和 WikiArt 绘画图像，预处理后的 RGB 图像数据及其对应的草图图像可在此1. 说明代码结构如下： models....
SS-SFDA-Self-Supervised-Source-Free-Domain-Adaptation-for-Road-Segmentation-in-Hazardous-Environme:论文“ SS SFDA”的代码库
04-12
论文 项目页面 在观看整个视频 如果您觉得有用，请引用我们的论文。 @article{kothandaraman2020safe, title={SAfE: Self-Attention Based Unsupervised Road Safety Classification in Hazardous Environments},...
Self-supervised Graph Learning for Recommendation
12-20
自监督学习用于推荐
Self-supervised-Fewshot-Medical-Image-Segmentation:[ECCV'20]具有超像素的自我监督
05-16
SSL_ALPNet [ECCV'20]像素的 摘要： 很少使用的语义分割（FSS）在医学成像应用中具有巨大的潜力。 现有的大多数FSS技术都需要大量的带注释的语义类进行训练...如果您认为此代码库很有用，请引用我们的论文。 谢谢！
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval
HYY233的博客
12-13 279
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 解决问题：1.在模型训练时利用单标签去估计语义相关性，但实际数据集中有多类标签同时存在，利用多标签更精准；2.利用哈希编码会导致高维数据的丢失 主要思想：自监督对抗哈希网络 将标签作为自监督学习的标准，建立两个对抗网络，可让文本，图像，标签在特征提取后...
Boosting self-supervised Learning via Knowledge Transfer
Jesse_08的博客
07-01 215
Boosting self-supervised Learning via Knowledge Transfer 这是一篇不错的2016CVPR， 值得一读 https://amitness.com/knowledge-transfer/
悟道·文澜：北京智源研究院、人大、中科院联手打造的超大规模多模态预训练模型！
ElensAi的博客
03-21 2231
导读 近年来，BERT等预训练语言模型在多类自然语言处理任务上取得了显著的性能提升，从而极大地改写了研究范式。随着OpenAI超大规模语言模型GPT-3的发布，预训练语言模型在自然语言理解...
读书笔记：Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
Jesse_08的博客
10-27 1024
读书笔记：Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey 这一周的师兄给布置的任务有一点重，四篇论文的精读对我还是不小的挑战！ 那么首先我们从这篇综述：基于深度神经网络的自监督学习（视觉特征） Abstract： 背景：通常来说训练一个对图像或视频能很好进行特征提取的深度神经网络需要大规模的标签数据，对于CV task来说。为了避免收集数据注释数据带来的高昂费用，我们提出了一种方法——这种方法是无监督学
综述 | 自监督学习（Self-Supervised Learning） 2018-2020年的发展
idol24的博客
06-04 1万+
点击上方“机器学习与生成对抗网络”，关注"星标"获取有趣、好玩的前沿干货！来源｜https://medium.com/@kelispinor/簡介-self-superv...
自监督学习 | (1) Self-supervised Learning入门
热门推荐
sdu_hao的博客
02-26 10万+
原文地址 本文通过整理自监督学习的一系列工作，把主流方法分成三大类，方便大家更全面的了解自监督学习的定义、方法、用途。 学习的范式 我们首先来回顾下机器学习中两种基本的学习范式，如图所示，一种是监督学习，一种是无监督学习（林轩田课程中把机器学习范式分为监督学习、半监督学习、无监督学习以及强化学习）。 监督学习利用大量的标注数据来训练模型，模型的预测和数据的真实标签产生损失后进行反向传播（计算梯度...
[二师兄的成长手札]视觉/语义自监督&预训练一些问题和思考（1）
Jack_Free的专栏
07-15 695
近两年大数据越来越受到重视，而其中自监督也逐步被证实能对业务带来收益。预训练的源头应该是从NLP开始，近两年逐步在视觉领域大放异彩，现在再来跟进想来也不算太晚。 NLP领域自监督任务的构建 视觉预训练 不按照体系进行记录，读过的论文就随笔记录了 Dense Contrastive Learning for Self-Supervised Visual Pre-Training，CVPR 2021 https://openaccess.thecvf.com/content/CVPR2021/papers/Wa
GitHub 3.6k Satr自监督学习(Self-Supervised Learning)资源你值得拥有！
DrugAI
04-12 4720
自我监督学习已成为AI社区中令人兴奋的方向。 Jitendra Malik: "Supervision is the opium of the AI researcher" Alyosha Efros: "The AI revolution will not be supervised" Yann LeCun: "self-supervised learning is the cake, supervised learning is the icing on the cake, reinforceme
介绍一下：Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion
05-11
Decoupled-and-Coupled Networks: Self-Supervised Hyperspectral Image Super-Resolution with Subpixel Fusion 是一篇论文，主要探讨了如何利用自监督学习的方法对高光谱图像进行超分辨率重建。该方法使用了分离和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值