论文笔记-AAAI21@基于自监督学习和多任务学习的多模态表示

最新推荐文章于 2024-04-08 10:11:23 发布
最新推荐文章于 2024-04-08 10:11:23 发布
阅读量1.1k 收藏 11
点赞数 4
文章标签： 自然语言处理 神经网络 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/loganzha/article/details/118211434
版权

论文信息
论文全名
Learning Modality-Specific Representations with Self-Supervised Multi-Task Learning for Multimodal Sentiment Analysis
论文会议：AAAI2021
论文地址
https://ojs.aaai.org/index.php/AAAI/article/view/17289/17096
代码地址
https://github.com/thuiar/Self-MM

论文背景
这篇论文的研究领域是多模态情感分析，也就是同时输入文本、视频和音频3个模态，要求判断多模态的情感。通常的多模态数据集中仅仅包含多模态(multi-model)的情感，不包括单个模态(文本、视频、音频)的情感，而多模态标签在某些情况下不能反映单模态的情感。例如，图1所示的反讽例子，多模态的情感是消极，而文本模态的情感是积极的。
yu et al.[1]提出了一个标注了单模态情感的多模态数据集，并且通过实验证明单模态标签的存在可以使模型学习到更多的信息。但是不足之处是单模态标注需要耗费很大的人力。因此，这篇论文提出使用自监督学习策略来自动地生成单模态标签，并且使用多任务学习同时训练多模态任务与3个单模态任务。
在这里插入图片描述

图1：多模态标签与多模态标签的区别

论文方法
首先给出论文模型图如下
在这里插入图片描述

从图中可以看出模型左部分对应多模态，右部分对应文本、音频、视频3个单模态。使用预训练模型BERT提取文本中包含的信息，使用LSTM提取音频和视频中包含的信息。最后将3个模态的表示拼接起来通过多层全连接网络进行分类。单模态任务也是使用全连接网络进行分类。模型图中ULGM代表单模态标签生成模块。
1.单模态标签生成ULGM
作者认为单模态标签和多模态标签是高度相关的，假设计算模态表示与模态中心点的中心距离为α，作者认为单模态的α与多模态的α的比值约等于单模态标签与多模态标签的比值，通过这一关系计算出单模态标签距离多模态标签的偏移，进而得出单模态标签。计算公式如图3所示。
在这里插入图片描述

2.基于动量的单模态标签更新策略
单模态标签生成是与模态表示相关的，而随着模型参数的更新，模态表示一直在变化，因此生成的单模态标签是不稳定的，论文中设计了一种基于动量的更新策略，更新标签时同时考虑历史值与新生成的值。更新公式如下。
在这里插入图片描述
其中i代表第i个epoch，用多模态标签初始化单模态标签。

实验结果
论文在3个数据集上表现出了较好的结果，如下图所示。
在这里插入图片描述
在这里插入图片描述

参考文献
[1] Yu, W.; Xu, H.; Meng, F.; Zhu, Y.; Ma, Y.; Wu, J.; Zou, J.; and Yang, K. 2020a. CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotation of Modality. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, 3718–3727. Online: Association for Computational Linguistics. doi: 10.18653/v1/2020.acl-main.343. URL https://www.aclweb. org/anthology/2020.acl-main.343.

最后欢迎大家关注公众号NLP学习者
在这里插入图片描述

loganzha
关注
  • 4
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
实现高效生成式预训练Transformer模型：基于多模态数据融合和多任务学习的方法
禅与计算机程序设计艺术
07-28 1340
传统Transformer模型基于字符级别或者词级的文本，通常只进行了几层网络结构，而在实际生产环境中，任务不同，输入类型也不同，比如序列标注、序列生成等，会遇到不同的输入数据形式。因此，提出了用统一的预训练模型来解决这一问题，预训练可以使得模型具有更好的泛化能力、鲁棒性。通过对大量高质量数据进行预训练，模型可以在目标任务上取得更好的性能。目前，预训练模型有两种流派，一种是seq2seq预训练，另一种是transformer预训练。
论文笔记——《Multi-Modal Self-Supervised Learning for Recommendation》
qq_43725311的博客
02-28 1319
作者通过设计多模态推荐场景下的自监督任务来：1）建模模态信息启发的用户交互偏好（即，建立模态内容和协同信号之间的依赖）；2）建模各个模态之间关系；它们能够专门针对多模态场景引入自监督信号以一定程度地缓解推荐系统一直以来存在的数据稀疏性问题。模型 MMSSL 在多个公开数据集上取得了优于 SOTA 多模态推荐模型的实验结果
SelfSupervisedLearning-DSM:AAAI21 论文“通过解耦场景和运动增强无监督视频表示学习”的代码
05-29
帝斯曼 论文的源代码 数据集列表和一些可视化/提供的权重正在准备中。 1. 介绍（场景主导到动作主导） 视频数据集通常是场景主导的，我们建议通过两个简单的操作将场景和运动（DSM）解耦，以便更好地关注运动信息的模型。 生成的三元组如下： 帝斯曼学到了什么？ 使用 DSM 预训练，模型学会专注于没有可用标签的强大运动区域（不一定是演员）。 2. 安装 数据集 请参考dataset.md以获取详细信息。 要求 Python3 pytorch1.1+ PIL 英特尔（即时解码） 3. 结构 数据集 列表 hmdb51：HMDB51 的训练/验证列表 ucf101：UCF101 的 train/val 列表 kinetics-400： kinetics-400 的 train/val 列表 diving48：diving48 的 train/val 列表 实验 日志：详细的实验记录 渐
【论文精读】| CTFN: Hierarchical Learning for Multimodal Sentiment Analysis Using Coupled-Translation Fusi
最新发布
"You are worthy! You can do it!"
04-08 837
模态缺失
【自监督学习】论文解读《 Self-Supervised Learning Across Domains 》
weixin_63219670的博客
12-26 1163
自主学习可以发现不变量和规律性，从而有助于归纳总结在本文中，模型以有监督的方式来学习语义标签，并通过在同一图像上学习自监督信号来拓宽对数据的理解。次要任务有助于网络专注物体形状，学习空间方位和部分相关性等概念，同时充当多个视觉领域分类任务的正则化器。
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
Lethe's Blog
10-11 6812
【论文笔记——自监督学习综述】Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey Abstract Large-scale labeled data are generally required to train deep neural networks in order to obtain better performance in visual feature learning from images
论文 Self-MM 解读
Neo的战斗部
04-13 1977
Learning Modality-Specific Representations with Self-SupervisedMulti-Task Learning for Multimodal Sentiment Analysis 摘要 1.设计了一种标签生成模块，获得独立的单模态标签 2.设计权重调整策略，平衡不同子任务之间的学习进程 特征学习中 前向引导 ：捕捉不同模态之间的差异信息 后向引导：附加损失函数作为先验约束，使得模态表征既包含一致信息又包含互补信息 paper的贡献： 1.
多任务学习用于多模态生物数据分析
白景屹的博客
06-14 2572
UnitedNet：用于联合测量数据的可解释技术
【自然语言处理】【多模态】UniT：基于统一Transformer的多模态多任务学习
bqw的博客
05-29 2293
UniT：基于统一Transformer的多模态多任务学习 《UniT：Multimodal Multitask Learning with a Unified Transformer》 论文地址：https://arxiv.org/pdf/2102.10772.pdf 一、简介 ​ Transformer\text{Transformer}Transformer在各个领域都获得的巨大的成功，包括但不限于自然语言、图像、视频和音频。先前的工作表明，在大规模语料上预训练的Transformer\text{Tr
AI大一统：阿里达摩院发布多任务、多模态统一模型OFA
zenRRan的博客
03-07 1262
每天给你送来NLP技术干货！引言：我们正处于一个“多模多任务大统一”的AI时代。来自：高能AI老铁们，上图是对动漫《海贼王》所选框的文字描述（Zero-shot测试），而这一“炫酷”的效果...
强化学习在人工智能中的未来方向：从多模态到多任务处理
禅与计算机程序设计艺术
07-20 2731
作者：禅与计算机程序设计艺术 1.1 概述 近年来，随着人工智能(AI)领域的蓬勃发展，强化学习(Reinforcement Learning, RL)技术也随之进入重要的研究热点。强化学习是指一个agent通过不断试错、自我探索的方式学习如何在一个给定的环境中做出最优决策或动作。它的目标是使age
图表示学习(Graph representation learning)-AAAI-19-Tutorial
05-22
AAAI 2019 Tutorial的图表示学习分享， William Hamilton 和加拿大蒙特利尔算法研究所的Jian Tang 跟大家交流了图表示学习的当前进展
AAAI-2020 @ NIPS-2019 @ IJCAI-2019论文提要.zip
05-28
cv顶会2019-2020论文题目与作者时间整理，带有重点标注。
论文研究-局部学习半监督多类分类机.pdf
09-20
提出两种类标号表示方法来避免多个二类分类问题的求解, 一种是单位圆类标号表示方法, 一种是二进制序列类标号表示方法, 并利用局部学习在二类分类问题中的良好学习特性, 提出基于局部学习的半监督多类分类机....
L2P-GNN:AAAI-2021论文“学习预训练图神经网络”的代码和数据集
05-08
该存储库是AAAI-2021论文《的正式实施 要求 要安装要求： pip install -r requirements.txt 数据集 可以从以下链接下载所有必需的数据文件。 对于生物学数据集，请从和下载（提取代码：j97n），将其解压缩，然后将...
【论文笔记】Self-Supervised MultiModal Versatile Networks
Mini_Fantasy的博客
02-17 640
【论文笔记】Self-Supervised MultiModal Versatile Networks 论文详细信息 题目：Self-Supervised MultiModal Versatile Networks 作者：Jean-Baptiste Alayrac, Adrià Recasens, Rosalia Schneider, Relja Arandjelovic, Jason Ramapuram, Jeffrey De Fauw, Lucas Smaira, Sander Dieleman, &
自监督论文阅读笔记There is More than Meets the Eye: Self-Supervised Multi-Object Detection and Tracking with
YoooooL_的博客
04-27 779
目标固有的声音属性可以为学习目标检测和跟踪的丰富表示提供有价值的线索。此外，视频中 视听事件的共现 可用于通过仅监控环境中的声音来 定位图像场上的目标。 本文提出了 新的自监督MM-DistillNet框架，该框架由多名教师组成，他们利用包括 RGB、深度和热图像在内的多种模式，同时利用 互补线索 并 将知识提炼到单个音频学生网络中。本文提出了新的 MTA 损失函数，它有助于 以自监督的方式 从多模态教师中提取信息。此外，我们为 音频学生提出了一种新的自监...
论文《Self-Attentive Sequential Recommendation》
whgyxy的博客
05-09 924
论文地址：https://arxiv.org/pdf/1808.09781.pdf Self-Attentive Sequential Recommendation SASRec是较早应用Self-Attention到序列推荐中的模型，目前作为序列SOTA的baseline，应用十分广泛。在工业界也是很早就大规模落地，取得的效果也是非常显著，在SASRec基础上面进行改进的工作很多，包括后面引入对比学习，加入其他side info，以及加入双向Transformer结构等等。 摘要 序列模型一般是由马尔科夫
【自监督论文阅读笔记】Instance Localization for Self-supervised Detection Pretraining
YoooooL_的博客
11-07 2121
结果，我们的模型在 Imagenet 语义分类方面变得更弱，但在图像块定位方面更强，具有 整体更强 的目标检测预训练模型。因此，对于 覆盖前景的边界框，其特征会受到周围背景的影响，使其更难定位。通过鼓励 相同实例 但具有不同背景的 池化前景特征之间的 相似性，学习 有效感受野 以匹配边界框的空间范围。我们假设类似的增强策略也可能对边界框有效。这表明目标检测的整体改进主要是 由更好的空间定位 带来的，而不是更强的语义。在本文中，提出了一种 新的自监督前置任务，称为 实例定位，专门用于目标检测的下游任务。
基于多模态数据融合的负面情绪识别方法
08-17
综上所述，基于多模态数据融合的负面情绪识别方法需要考虑多种模态的信息融合，并且可以利用无监督/弱监督学习和少/零次学习来处理缺乏标记数据的情况。此外，多模态领域自适应和域泛化方法可以帮助解决多源域情况下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值