Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text论文笔记

研究目的（为什么要做这个工作）

本文的研究工作是为了能够在图像上获取文本或者插图中的信息，从而让机器可以回答关于图像的问题。
本问题的难点在于在图像上读取文本信息，只使用词嵌入模型是远远不够的，因为输入是一个图像的信息而不是关于文本的信息。

模型概述（MM-GNN）

模型将输入的图像转换成图结构，这个图分为了三个子图，分别为描述图像的图，语义的图和数字的图，这三种图通过分别三个整合器来传递信息

模型原理

a.首先定义三个图

1. 提取多模态数据的特征
   1）图像信息的图
   $G_v$ v表示visual,$v_i\in V_v=[v_i{]}_{i=1}^N$N表示图像中自然图像的候选目标的个数。

2）语义图
$G_s$ s表示semantic,$s_i\in V_s=[s_i{]}_{i=1}^M$M表示图像中文字的目标个数,每一个$s_i$是通过词嵌入得到的。

3）数字图
$G_n$ n表示numerical,$n_i\in V_n=[n_i{]}_{i=1}^K$K表示图像中数字的目标个数。数字的文本会使用sigmoid映射到-1到1的范围内

b.整合器策略
从模型的图来看，三个模态图分成了三层，主要的跨模态关系为视觉图像与语义图还有语义图与数字图这两种关系。
三个整合器的作用分别是：
1)视觉-语义 整合器具有两个方面的作用，首先是用图像内容去精炼语义图的点，来回答关于自然图像中文本语义的问题。其次，语义图也会精炼图像的特征，从而回答图像中文字所具有的视觉特征。
其具体过程为，在$G_s$中的每一个顶点$s_i$,先计算它与相关顶点之间的attention，整合器通过整合$s_i$与其相关的$G_v$的顶点$v_j$点来更新其特征。在$G_v$中的点$v_j$确定其视觉上的位置，在$G_s$中的点$s_i$确定目标的语义信息。问题的特征q是通过长短期记忆模型来提取。
attention的计算公式为：
$$a_{v_j,s_i}^{{}^{\prime }}=f_s([s_i^{(0)}];f_b(b_{s_i})]{)}^T(f_v([v_j^{(0)}];f_b(b_{v_j})]{)}^T\odot f_q(q))$$
$$a_{v_j,s_i}^s=\frac{exp(a_{v_j,s_i}^{{}^{\prime }})}{{\sum }_{v_j\in N_{s_i}^v}exp(a_{v_j,s_i}^{{}^{\prime }})}$$
$f_s,f_v$都是提取特征点的机器学习模型。$f_b$是提取bounding boxes特征的MLP，$f_q$是提取问题特征的MLP“；”代表拼接两个向量。这里为了能够让语义信息与视觉信息相匹配，还加入了question文本
通过计算出的attention来更新$s_i$的特征
$$s_i^{(1)}=[s_i^{(0)};\sum _{v_j\in N_{s_i}^v};a_{v_j,s_i}^s{f}_{v^{{}^{\prime }}(v_j^{(0)})}]$$
$s_i^{(1)}$为t=1时的特征。
同样的更新策略用在视觉信息上，公式为：
$$a_{v_j,s_i}^v=\frac{exp(a_{v_j,s_i}^{{}^{\prime }})}{{\sum }_{s_i\in N_{v_j}^s}exp(a_{v_j,s_i}^{{}^{\prime }})}$$
$$v_j^{(1)}=[v_j^{(0)};\sum _{s_i\in N_{v_i}^s}{a}_{v_j,s_i}^v{f}_{s^{{}^{\prime }}(s_j^{(0)})}]$$

2)语义到语义的整合器
这个整合器的作用是在考虑语义上下文的情况下，精炼每一个语义节点。具体做法依然是对一个$G_s$中的所有节点，其邻节点计算attention，再更新该节点的特征。
$$a_{s_j,s_i}^{{}^{\prime }}=g_{s1}([s_i^{(1)}];g_b(b_{s_i})]{)}^T(g_{s2}([s_j^{(1)}];g_b(b_{s_j})]{)}^T\odot g_q(q))$$
$$s_i^{(2)}=[s_i^{(1)};\sum _{s_j\in N_{s_i}^s}{a}_{s_j,s_i}{g}_{s3}(s_j^{(1)})]$$

3）语义到数字整合器
这个整合器的作用是让语义信息赋予数字信息意义。这个整合器的策略与前面相同:
$$x_i^{(3)}=[x_i^{(0)};\sum _{s_j\in N_{x_i}^s}{a}_{s_j,x_i}h(s_j^{(2)})]$$
经过三个整合器的输出称为OCR。

最后一层是输出预测出来的答案。这个预测结果由视觉特征与OCR特征输入获得。输入的大小为词汇的大小+OCR的数量。还要计算答案是以视觉信息为重，还是以OCR特征为主的attention
$$y=f_a([f_{att}^v(v,q{)}^{T}v;f_{att}^c(c,q{)}^{T}c])$$
$f_{att}^v$和$f_{att}^c$都是Top-down attention networks，$f_a$是一个MLP