Image-Text Interaction Network（CCF B）

最新推荐文章于 2025-03-14 19:47:08 发布
最新推荐文章于 2025-03-14 19:47:08 发布
阅读量4.1k 收藏 23
点赞数 2
分类专栏： 多模态情感分类文章阅读 文章标签： 计算机视觉 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43775680/article/details/127717392
版权

Zhu T, Li L, Yang J, et al. Multimodal sentiment analysis with image-text interaction network[J]. IEEE Transactions on Multimedia, pages 1–1, 2022（CCF B类）

目录

一、本文贡献

二、本文所提出的方法

1.模型框架

2.图像文本交互

（1）Cross-modal Alignment Module

（2）Cross-modal Gating Module

（3）语境信息提取

（4）Multimodal Sentiment Classification

三、实验

1.在MVSA-S和在MVSA-M上的实验结果

2.消融实验的实验结果

3.案例分析

一、本文贡献

  1. 提出一种新的针对于多模态情感分析的图像文本交互网络。该方法通过对齐情感图像区域和文本词用于分析图像文本交互。
  2. 基于跨模态的注意力机制提出了一种跨模态的对齐模块，用来捕获图像区域和文本单词之间的细粒度对应关系；为抑制错位对齐的区域单词对所产生的消极影响，提出一个自适应的跨模态门模块融合多模态特征。
  3. 大量的实验验证了本文方法的优点。进行消融实验，验证方法的合理性。

二、本文所提出的方法

1.模型框架

2.图像文本交互

（1）Cross-modal Alignment Module

       跨模态对齐模块目的是在嵌入空间中对齐图像区域和句子中的单词。

       图像区域特征提取：对于输入的图像I，使用在Visual Genomes数据集上预训练的Faster R-CNN检测图像区域以及相关的表示。取每个图像的前m个区域提示框，每个区域是一个2048维的向量，定义为𝑓𝑖，i=1,2,3…m。通过一个线性映射将𝑓𝑖到维度为d的区域特征𝑟𝑖。

        文本特征提取：使用预训练的Bert-Base将具有n个词的句子中的每一个词表示为768维的向量𝑥𝑖，i∈[1,n]。然后使用双向GRU概括句子中的上下文信息。

第一个h𝑖指前向传播的隐藏状态，第二个h𝑖指反向传播的隐藏状态，最终的词向量𝑤𝑖为两个方向的隐藏状态取平均。

已知区域级别的特征集 R={r1,…,rm} 和单词级别的特征集 W={w1,….,wn} 。使用跨模态注意力机制，模型可以根据每一个图像区域特征关注句子中的单词，从而发现和每一个区域特征最相关的文本信息。

注意力矩阵计算过程：

通过两个矩阵Wr和Wt，将R和W映射到同一个共享空间中，随后进行矩阵乘法得到注意力分数矩阵A，A∈𝑅𝑚∗𝑛。𝐴𝑖𝑗揭示着第i个区域和第j个单词之间的关系。

对矩阵A在每一行上使用softmax函数，使得矩阵A的行和为1，得到每一个单词与相应图像区域的关联程度。

使用规范化的矩阵A，根据每一个图像区域聚集所有的词向量。U的第i行表示与图像第i个区域对应的交互文本向量。

（2）Cross-modal Gating Module

       跨模块对齐模块生成了与每一个区域最相关的词语级别的特征信息。然而不是所有得到的区域文本对可以很好地对齐。该模块通过控制特征融合的强度，消除未对齐的区域文本对的影响，增强跨模态信息的交互。

       通过计算gate value评估对齐程度，

接下来使用gate value控制向后面传递的信息量，若图像区域和相应的单词对齐的很好，那么gate value就大；若图像区域和相应的单词对齐的不好，那么gate value的值就小，小的值可以达到抑制消极信息的目的。

由于图像使用了m个区域，所以最终得到的Z={z1,z2,…,zm}，Z的size为（m，d）。Z是一个融合特征，暗含图像区域和词之间的对齐信息。

最后，使用注意力机制聚集特征Z得到整个输入的图像文本对的表示C。

（3）语境信息提取

       同一个物体在不同的语境中会表达不同的情感，使用Faster R-CNN提取区域特征并不涉及语境信息的提取。针对图像，使用在ImageNet上预训练的ResNet提取图像的语境信息。

针对于文本，使用双向GRU的文本特征表示中已经包含了语境信息，所以选择对所用的文本向量执行求和取平均的操作获得文本的语境信息。

接下来将图像语境信息V和文本语境信息S加入到向量C中。F为最终的跨模态交互向量，F中含有对齐信息和语境信息。

（4）Multimodal Sentiment Classification

       将特征向量F送入到softmax层预测最终的情感类别。

三、实验

1.在MVSA-S和在MVSA-M上的实验结果

2.消融实验的实验结果

（1）没有对齐层的ITIN效果更差，这证明了对齐图像区域和文本单词的有效性

（2）不使用Gating的ITIN效果差于ITIN，表明门控机制可以进一步增强跨模态交互作用。

（3）不使用Context的ITIN效果差于ITIN，验证了语境信息对情感分类任务的补充作用。

（4）ITIN w/o Context和ITIN only Context的结果比较，表明细粒度的跨模态交互有利于多模态情感分析。

3.案例分析

       第一列是输入的image-text pair，第二列是用彩色边框标记的图像区域和对应的不同深浅颜色的文本单词，其中单词的权重越大，颜色也就越深。通过颜色识别图像区域和文本之间的对应关系。第三列是区域文本对的gate value，可以发现对齐的区域文本对的gate value的值大，对不不匹配的则gate value的值就小。

【推荐】中国计算机学会推荐国际学术会议和期刊目录——CCF的会议与期刊分级
haoji007的博客
07-12 2万+
中国计算机学会推荐国际学术会议和期刊目录（2015 年）中国计算机学会中国计算机学会推荐国际学术期刊（计算机体系结构/并行与分布计算/存储系统）一、 A 类序号 刊物简称 刊物全称 出版社 网址1 TOCS ACM Transactions on Computer Systems ACM http://dblp.uni-trier.de/db/journals/tocs/2 TOC IEEE Tr...
深入理解跨注意力机制（Cross-Attention）
m0_72410588的博客
07-11 2万+
跨注意力机制是一种扩展自注意力机制的技术。自注意力机制主要用于捕捉输入序列中不同位置的关联性，而跨注意力机制则通过引入额外的输入序列来融合两个不同来源的信息，以实现更准确的建模。
超交互神经网络super interaction neural network概述
chunlalu的博客
06-02 1022
超交互神经网络super interaction neural network概述 一种新型的轻量化网络结构 轻量化网络结构现状：追求高效使得结构非常精简，提取特征有限，为了充分利用有限的特征，实现特征间信息交互，mobilenet采用DWC来实现这一点，但相应增加了大量存储和计算。 为了既加强信息间交互又进一步加快计算速度，提出了SInet（适用于嵌入式系统如移动电话）。 创新点： 1.exch...
跨模态推理中图注意力机制的效率提升
最新发布
SuperAGI2025
03-14 656
跨模态推理是人工智能领域中一个极具挑战性和应用前景的研究方向，它旨在融合不同模态的数据（如图像、文本、音频等）进行推理和决策。图注意力机制作为一种强大的工具，能够在图结构数据上自适应地分配注意力权重，从而更好地捕捉节点之间的关系。然而，在实际应用中，图注意力机制的计算效率往往成为瓶颈，限制了其在大规模跨模态数据上的应用。本文的目的在于探讨如何提升跨模态推理中图注意力机制的效率，涵盖了从理论原理到实际应用的多个方面，包括核心算法的优化、数学模型的分析、项目实战以及应用场景的探讨等。本文共分为十个部分。
GINet：Graph Interaction Network for Scene Parsing（ECCV 2020）详解
Lil Wing
03-04 967
论文地址：https://arxiv.org/pdf/2009.06160.pdf 一、背景        Scene Parsing 任务属于语义分割的一个分支，也是把每个像素点分成一个具体的语义类别，它和常见的语义分割的区别在于 Scene Parsing 任务的数据集里的类别分为 Object 和 Stuff 两种类别，Stuff 类别是背景类别，比如天空、草地这种形状不太固定的类别，而且这种数据集的类别一般也会比较多，比如 A
论文阅读笔记：Modularized Interaction Network for Named Entity Recognition
Jiangshang_jiu
07-28 948
Modularized Interaction Network for Named Entity Recognition
16.Modularized Interaction Network for Named Entity Recognition 阅读笔记
薰珞婷紫小亭子的博客
09-09 943
Modularized Interaction Network for Named Entity Recognition 论文地址：https://aclanthology.org/2021.acl-long.17.pdf Author Information:：Fei Li1, Zheng Wang2∗, Siu Cheung Hui2, Lejian Liao1, Dandan Song1∗,Jing Xu1, Guoxiu He3, Meihuizi Jia1 Institutions Informa
Laravel数据库性能分析器使用指南
gitblog_00018的博客
06-21 665
Laravel数据库性能分析器使用指南 laravel-db-profiler Database Profiler for Laravel Web and Console Applications. 项目地址: https://gitcode.com/gh_mir...
计算机领域CCF推荐会议列表
热门推荐
Miracle.Zhao的博客
10-25 6万+
CCF推荐国际学术会议 类别如下计算机系统与高性能计算，计算机网络，网络与信息安全，软件工程，系统软件与程序设计语言，数据库、数据挖掘与内容检索，计算机科学理论，计算机图形学与多媒体，人工智能与模式识别，人机交互与普适计算，前沿、交叉与综合 中国计算机学会推荐国际学术会议 　(计算机系统与高性能计算） 一、A类序号 会议简称 会议全称 出版社 网址 1
2019 CCF 推荐 会议 列表
CS_Conferences的博客
02-15 5411
CCF推荐会议对计算机领域论文进行评价的模式被国内很多高校和科研机构采纳，不排除也有部分人并不看好。因为其有利于鼓励科研工作者向本学科的高级区域投稿，所以CCF推荐会议目录是国内评价计算机领域会议水平的主流标准。 CCF推荐会议概况 CCF推荐会议分为A、B、C三类，会议论文指“Full paper”或“Regular paper”（正式发表的长文），对于会议上其他形式发表的论文如Short paper、Demo paper、Technical Brief、Summary以及作为伴随会议...
NLP与AI会议期刊详细整理「CCF, SCI」
IndexFziQ CSDN
10-23 1万+
本文档旨在调查所有可用的 NLP+AI 会议和期刊（主要针对自然语言处理学者），包括CCF等级、SCI、影响因子、主页和投稿介绍。 此处建议同学们早点想想未来走什么方向（比如教职/互联网/出国），就要决定自己是要投期刊，还是会议，还是追求影响因子。衷心祝愿您的论文被接受。我也将本文档已经发布到GitHub，欢迎来点赞～也欢迎贡献你所知道的会议期刊。
2019 CCF 推荐 期刊 列表
CS_Conferences的博客
02-15 3326
CCF推荐期刊对计算机领域的期刊进行评价的模式被国内很多高校和科研机构采纳，不排除也有部分人并不看好。因为其有利于鼓励科研工作者向本学科的高级区域投稿，所以CCF推荐期刊目录是国内评价计算机领域期刊水平的主流标准。 CCF推荐期刊概况 CCF推荐期刊分为A、B、C三类，一些出版社和学术社团编发的magazine（杂志）未纳入本“目录”的推荐期刊列表中。 CCF推荐期刊《目录》是CCF认为值得计算机界研究者们发表研究成果的一个推荐列表，其目的不是作为学术评价的（唯一）依据，而仅作为CCF...
【Interconnection Networks 互连网络】Chapter 2. A simple interconnection network
Messiah___的博客
03-23 1091
然后，离开特定输出端口的数据包的概率pi+1等于不希望该输出端口的数据包的概率的补。(2.2) 应用方程2.2 n = 3次，分别用于网络的每个阶段，并瞬时忽略重新发送的数据包（p0 = λ），我们计算得到，在输入占空比为λ = 0.125（对应于速度增益为8）的情况下，三个交换阶段的输出占空比分别为0.119、0.114和0.109。然而，随着提供的流量的增加，丢弃很快就成为一个主要因素，如果不重新发送数据包，网络的吞吐量将远低于提供的流量。提供更多的加速可以增加设计的余量，并允许实现中的非理想情况。
探索前沿文本融合网络：TextFuseNet
gitblog_00010的博客
04-18 504
探索前沿文本融合网络：TextFuseNet TextFuseNetA PyTorch implementation of "TextFuseNet: Scene Text Detection with Richer Fused Features".项目地址:https://gitcode.com/gh_mirrors/te/TextFuseNet 项目简介 TextFuseNet 是一个基于深...
三种能有效融合文本和图像信息的方法——特征拼接、跨模态注意、条件批量归一化
白洞，白色的明天在等着我们
04-29 1万+
当前T2I模型的一大限制就是如何有效地融合文本和图像信息？ 目前常用的有特征拼接（features concatenation）、跨模态注意（cross-modal attention）和条件批量归一化（CBN，Condition Batch Normalization） 一、特征拼接 特征拼接就是简单的将文本模态进行简单线性变换，转换成图像模态需要的特征向量尺寸，然后将文本特征向量与图像特征向量进行拼接，在StackGAN和StackGAN++中用到过。 这种方法其实既没有充分利用到文本信息，也没有有效实
2月跨模态（图片-文本）论文粗览
weixin_42636127的博客
02-22 1974
AAAI2021跨模态（图片-文本）论文粗览总体情况《A Case Study of the Shortcut Effects in Visual Commonsense Reasoning》《Simple is Not Easy: A Simple Strong Baseline for TextVQA and TextCaps》《Commonsense Knowledge Aware Concept Selection For Diverse and Informative Visual Storyte
跨模态检索论文阅读：Context-Aware Attention Network for Image-Text Retrieval
zag666的博客
04-10 1613
图像-文本双向检索在很大程度上依赖于每个图像-文本对的联合嵌入学习和相似性度量。先前的工作很少同时探索模态之间的语义对应和单一模态的语义关联。在这项工作中，我们提出了一个统一的上下文感知注意力网络工作（CAAN），它通过聚合全局上下文有选择地关注关键的局部片段（区域和单词）。具体来说，它同时利用全局模态间的对齐和模态内的关联来发现潜在的语义关系。考虑到检索过程中图像和句子之间的相互作用，模内关联来自于对区域-词排列的二阶关注，而不是直观地比较原始特征之间的距离。
多模态大模型：整合视觉与文本信息的前沿科技
AI天才研究院
06-10 1072
作者：禅与计算机程序设计艺术 多模态大模型是当前人工智能领域的一个重要研究方向，旨在通过融合多种类型的输入（如图像、语音、文本）来进行复杂任务处理。这些模型集成了深度学习和传统机器学习方法的优势，能更好地理解和利用不同模态之间的关联性和互补性。随着计算能力的提高和大数据量的积累，多模态大模型的应用范围越来越广，从自然语言处理到计算机视觉等领域都有广泛的应用前景。
发文直冲A会！【 多模态+注意力机制】最新成果！准确率近100%
Aimoxin111的博客
12-25 4982
融合瓶颈策略：通过引入融合瓶颈，模型能够以更低的计算成本提高融合性能，与无限制的对应模型相比，在多个视听分类基准测试中取得了更好的结果，例如在AudioSet数据集上提升了5.9 mAP（12.7%的相对改进）。融合瓶颈：与传统的成对自注意力相比，模型强制不同模态之间的信息通过少量的瓶颈潜在单元传递，要求模型收集并压缩每个模态中的相关信息，并只共享必要的信息。注意力掩蔽策略：在图像和文本的局部交互中，通过计算图像标记和文本标记之间的相似性来选择相关的图像块，提高了模型对相关信息的聚焦能力。
跨模态注意力机制代码
01-09
### 跨模态注意力机制实现代码示例 为了展示跨模态注意力机制的具体实现方法，下面提供了一个简化版的PyTorch代码片段。该例子假设存在两种不同的输入模式——文本和图像，并尝试在这两者之间建立关联。 ```python import torch from torch import nn, Tensor from typing import Tuple class CrossModalAttention(nn.Module): """定义一个简单的跨模态注意力建模类""" def __init__(self, d_model: int, n_heads: int) -> None: super(CrossModalAttention, self).__init__() self.multihead_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=n_heads) def forward(self, query: Tensor, key: Tensor, value: Tensor) -> Tuple[Tensor]: attn_output, _ = self.multihead_attn(query=query, key=key, value=value) return attn_output def cross_modal_attention_example(text_input: Tensor, image_input: Tensor) -> Tensor: """ 创建并调用CrossModalAttention模块， 输入分别为文本特征向量和图片特征向量。 参数: text_input (Tensor): 文本嵌入矩阵 [seq_len_text, batch_size, embed_dim] image_input (Tensor): 图像嵌入矩阵 [seq_len_image, batch_size, embed_dim] 返回: output (Tensor): 经过跨模态注意力变换后的输出张量 """ # 假设d_model=512,n_heads=8作为超参数设置 model = CrossModalAttention(d_model=512, n_heads=8).cuda() # 将两个模态的数据送入模型中进行处理 output = model.forward( query=text_input.cuda(), # 使用文本作为查询(Query) key=image_input.cuda(), # 使用图像作为键(Keys) value=image_input.cuda() # 同样使用图像作为值(Values)，这里可以根据需求调整 ) return output.cpu() ``` 在这个案例里，`cross_modal_attention_example()` 函数接收来自不同源（比如自然语言描述的文字串和对应的插图）的两组预处理过的特征表示 `text_input` 和 `image_input` 。接着创建了 `CrossModalAttention` 类型的对象来进行跨模态间的交互分析[^3]。 通过这种方式，不仅可以有效地提取每种单独媒体内的局部特性，而且能够发现它们之间的潜在联系，从而增强最终决策的质量。这种技术广泛应用于视觉问答系统、图文检索等领域，在这些场景下往往需要综合考虑多个感知通道的信息来做出更加精准的回答或匹配[^2]。
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值