Attention Bottlenecks for Multimodal Fusion论文阅读笔记
一、相关信息
1、论文名称: Attention Bottlenecks for Multimodal Fusion
2、论文地址: https://arxiv.org/pdf/2107.00135v1.pdf
3、引用方式:
@article{nagrani2021attention,
title={Attention bottlenecks for multimodal fusion},
author={Nagrani, Arsha and Yang, Shan and Arnab, Anurag and Jansen, Aren and Schmid, Cordelia and Sun, Chen},
journal={arXiv preprint arXiv:2107.00135},
year={2021}
}
二、相关工作
1、Transformer
传送门:https://blog.csdn.net/qq_39630875/article/details/119102109
2、ViT
1)实现过程
① 先把图像的patch映射成一个embedding,即图中的linear projection层。
② 然后加上position embedding。
③ classification由MLP完成。
2)存在问题
① ViT得拿超大数据集来训练;
② patch直接拉平送进去,有些暴力;
③ 缺乏局部特征的采集。
3、自注意力机制和互注意力机制的区别
MSA(X) = Attention(
W
Q
X
W^QX
WQX;
W
K
X
W^KX
WKX;
W
V
X
W^VX
WVX)
MCA(X;Y) = Attention(
W
Q
X
W^QX
WQX;
W
K
Y
W^KY
WKY;
W
V
Y
W^VY
WVY)
三、方法
1、融合策略
Here, [
z
r
g
b
z_{rgb}
zrgb] [
z
s
p
e
c
z_{spec}
zspec] denotes the concatenation of the tokens for each modality. We use different projections Ergb and Espec for RGB and spectrogram patches respectively, and prepend a separate classification token for each modality.
2、多模态融合
3、Fusion via Attention Bottlenecks
备注:
本文仅供学习,如有侵权,请和作者联系~