（二十九）：Image-text Multimodal Emotion Classification via Multi-view Attentional Network

最新推荐文章于 2025-01-20 23:37:49 发布
最新推荐文章于 2025-01-20 23:37:49 发布
阅读量966 收藏 3
点赞数
分类专栏： “情感分析”研究方向论文-精读总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37486501/article/details/117751247
版权
本文提出了一种名为多视图注意网络(MVAN)的新型模型，用于图文多模态情感分类。MVAN通过特征映射、交互学习和特征融合三个阶段，利用记忆网络深入探索图像-文本之间的交互，考虑了不同视角的图像特征。通过在大规模数据集TumEmo以及公开的MVSA数据集上的实验，MVAN在多模态情感分析任务上表现出优于现有基线模型的性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

（二十九）：Image-text Multimodal Emotion Classification via Multi-view Attentional Network

  • 出处：IEEE 2020
  • 标题：基于多视角注意网络的图文多模态情感分类

Abstract

与单模态内容相比，多模态数据更能生动有趣地表达用户的感受和情感。因此，多模态情感分析成为一个热门的研究课题。
然而，现有的方法要么是：独立学习情感模态特征，而没有考虑它们之间的相关性，要么是：简单地整合多模态特征。
此外，大多数公开的多模态数据集是通过情感极性来标记的，而用户表达的情感是特定的。

基于这一观察结果，在本文中，我们构建了一个名为TumEmo的大规模图像-文本情感数据集(即，用不同的情绪标记)，该数据集包含Tumblr（Tumblr是一个由大卫·卡普在2007年创立的微博和社交网站，目前归Automattic所有。该服务允许用户发布多媒体内容和其他内容到简短的博客。用户可以关注其他用户的博客。）的超过19万个实例。进一步提出了一种基于多视图注意网络(MVAN)的多模态情感分析模型，该模型利用不断更新的记忆网络来获取图像-文本的深度语义特征。
该模型包括特征映射、交互学习和特征融合三个阶段：
· 在特征映射阶段，我们利用物体视角和场景

了解本专栏 订阅专栏 解锁全文
（十九）：Fusion-Extraction Network for Multimodal Sentiment Analysis
Wangzx的博客
05-09 669
文献阅读（十九）：Fusion-Extraction Network for Multimodal Sentiment Analysis摘要1 Introduction2 Related Work3 Our Model3.1 Text Encoding Layer3.2 Image Encoding Layer3.3 Interactive Information Fusion Layer3.4 Specific Information Extraction Layer3.5 Output Layer4 E
Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framwor
weixin_42103947的博客
10-19 2106
《基于自注意机制和多尺度融合框架的多模态语音情感识别》(Multi-modal speech emotion recognition using self-attention mechanism and multi-scale fusion framework)
MANNER: MULTI-VIEW ATTENTION NETWORK FOR NOISE ERASURE
weixin_48994423的博客
03-10 4191
[ICASSP2022 arXiv:2203.02181v1] Motivation 目前时域方法存在同时实现高性能和高效率的困难。近年来，双路径模型被用来表示长序列特征，但在内存使用方面并不有效，因为它们在训练过程中保持了长信号长度。此外，在小通道尺寸上进行双路径处理的重复特征提取，导致表示方式有限，性能较低，记忆效率较差。在本研究中，我们提出了MANNER，由卷积编解码器和多视图注意块组成，应用于时域信号。 Method A 编码器和解码器 在编码器层之前，使用一维卷积层，然后batch.
[图像超分]--MAANet：Multi-view Aware Attention Networks
weixin_42096202的博客
12-23 827
创新点： 网络结构如上所示，由dense连接方式的残差模块堆叠而成，论文没有细看，主要关注了Local Aware Attention和Global Aware Attention。 1.Local Aware Attention： 出发点与其他的Attention机制一样，想让网络多关注带高频信息的特征位置。具体操作如下： 1.先对输入的H * W * C 特征图TD，进行一个AvgPoo...
【MAMSA】基于多注意力的多模态情感分析
weixin_45962681的博客
01-20 1815
特征编码模块、自适应注意交互模块（AAI）、情感关联表示模块（SA）、层次融合模块（HF）和情感预测模块
Multimodal semi-supervised learning for image classification总结
a-娇的专栏
12-23 1864
实际应用中，我们的训练数据中只有少数的图像有分类标签，大部分是没有分类标签的，所以我们要利用其它已有的信息来进行分类，本文就是针对解决这样的问题而提出的方法。 文章中提出的方法主要有两个步骤：  1、采用已经有标签（确定分类）的图像训练分类器，利用已有的图像内容和关键字。采用多核训练，结合两种核，第一种核是基于图像内容，第二个核是基于关键字。这个MKL分类器是用来预测训练数据中没有标签但是有关
专业英语（2、Image Classification-KNN）
Lyang-Never
04-28 448
Image Classification A core task in Computer Vision（计算机视觉的核心任务） 目标： 所谓图像分类问题，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。 例子 以上图为例，图像分类模型读取该图片，并生成该图片属于集合 {cat, dog, hat, mug}中各个标签的概率。 ...
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 9131
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
AAAI 2022 论文列表
热门推荐
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
论文阅读-基于深度学习的多模态情感分析研究综述
个人学术整理
07-12 6798
深度学习完成多模态情感分析综述。主要介绍多模态情感分析的概念、背景、意义。总结了多模态融合技术和交互技术，讨论多模态情感分析未来发展。
【人工智能】Transformers之Pipeline（十七）：文本分类（text-classification）
人工智能领域博客
09-11 5400
本文对transformers之pipeline的文本分类（text-classification）从概述、技术原理、pipeline参数、pipeline实战、模型排名等方面进行介绍，读者可以基于pipeline使用文中的2行代码极简的使用NLP中的文本分类（text-classification）模型。
AI推介-多模态视觉语言模型VLMs论文速览（arXiv方向）：2024.02.25-2024.03.01
小小帅
03-01 1530
数据和注释的质量是下游模型质量的上限。虽然存在大量的文本语料库和图像-文本对，但高质量的视频-文本数据却很难收集。首先，人工标注更耗时，因为它需要标注者观看整个视频。其次，视频具有时间维度，由多个场景叠加而成，并显示多个动作。因此，为了建立一个具有高质量字幕的视频数据集，我们提出了一种利用多模态输入（如文字视频描述、字幕和单个视频帧）的自动方法。具体来说，我们从公开的 HD-VILA-100M 数据集中收集了 380 万个高分辨率视频。
CCF A类会议或期刊----多视图，多模态近两年论文
Thincor的博客
03-15 6925
会议/期刊 论文 neurips2020 Removing Bias in Multi-modal Classifiers: Regularization by Maximizing Functional Entropies. neurips2020 Labelling unlabelled videos from scratch with multi-modal self-supervision. neurips2020 A Contour Stochastic Gradient ....
MAANet: Multi-view Aware Attention Networks for Image Super-Resolution
qq_34049103的博客
10-29 735
该文章主要写了在超分过程中从低分辨率图片恢复到高分辨率图片时大部分方法无法从低分辨率图像中恢复含足够高频信息的高分辨率图像，此文章提出一个假设即通过充分利用低分辨率图像的高频信息也就是纹理细节有利于SR生成高分辨率图像的纹理细节，因此该文章提出了一个局部注意力机制和全局注意力机制。 首先局部注意力机制：1.经过浅特征提取后将图像进行平均池化此处令ks=s这样设置使在池化块滑动时不会有相同的元素出现...
【数据集处理】制作自己的tusimple数据集(图森数据集)(LaneNet模型数据集）
weixin_45736855的博客
03-31 5481
数据制作图森数据集(tusimple),tusimple数据集LaneNet模型的标准数据集，便于后期实现基于LaneNet模型的车道线检测。
Multimodal Sentiment Analysis论文汇总
weixin_48432468的博客
03-24 2512
多模态情绪分析论文汇总
CVPR 2020文本图像检测与识别论文/代码
datayx的文章
06-27 1万+
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxCVPR 2020 共收录 1470篇文章,算法主要领域：图像与视频处理，图像分类&...
STiL: Semi-supervised Tabular-Image Learning for Comprehensive Task-Relevant Information Exploration in Multimodal Classification
最新发布
04-01
### STiL 方法概述 Semi-supervised Tabular-Image Learning (STiL) 是一种用于处理多模态数据的半监督学习方法[^1]。该方法旨在通过结合表格数据和图像数据来提升模型性能，特别是在标注数据有限的情况下。STiL 的核心目标是从不同模态的数据中提取任务相关信息并加以融合。 #### 多模态分类中的任务相关信息探索 在多模态分类场景下，任务相关信息通常分布在不同的数据源之间。STiL 方法通过设计特定机制，在训练过程中逐步识别哪些特征对于当前任务最为重要[^2]。具体而言： - **跨模态关联建模**：STiL 利用注意力机制捕获表格数据与图像数据之间的潜在关系。这种机制能够动态调整各模态的重要性权重，从而聚焦于最相关的部分[^3]。 - **自监督信号增强**：为了充分利用未标记样本的信息，STiL 引入了自监督学习策略。这些策略可以通过预测旋转角度、对比学习等方式生成额外的学习信号，进一步优化模型参数[^4]。 - **联合表示空间构建**：通过对齐两种模态的嵌入向量，STiL 创建了一个统一的任务相关表示空间。这使得即使某些模态缺失或质量较差时，模型仍能保持较高的鲁棒性和准确性[^5]。 以下是实现上述功能的一个简化代码框架： ```python import torch.nn as nn class STILModel(nn.Module): def __init__(self, tabular_dim, image_channels): super(STILModel, self).__init__() # 图像编码器初始化 self.image_encoder = ImageEncoder(image_channels) # 表格数据编码器初始化 self.tabular_encoder = TabularEncoder(tabular_dim) # 跨模态注意层 self.cross_modal_attention = CrossModalAttention() # 输出层定义 self.classifier = Classifier() def forward(self, table_data, image_data): img_features = self.image_encoder(image_data) tab_features = self.tabular_encoder(table_data) combined_features = self.cross_modal_attention(img_features, tab_features) output = self.classifier(combined_features) return output ``` 此代码展示了如何分别对图像和表格数据进行编码，并利用 `CrossModalAttention` 层完成两者间的交互操作[^6]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Laura_Wangzx

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值