CGMVQA: A new Classification andGenerative Model for Medical VisualQuestion Answering

CGMVQA：一种新的医学视觉问答分类与生成模型

VQA的任务可以分为三个部分：图像特征提取、问题特征提取和特征整合

通常，图像特征提取的方法是使用迁移（转移）学习作为特征提取器来预训练例如深度残差网络（ResNet）的图像；问题特征的提取主要使用LSTM等递归神经网络（早期），现在也有更多的使用预训练模型，例如Transformer或者Bert等预训练模型，利用迁移学习的思想对文本特征进行提取，总体目的是将文本转化为向量；特征提取之后的集成可用于两种方法：分类和生成，用于分类的集成方法可以基于串联、双线性合并等机制，用于生成的集成方法通常基于编解码器框架。

现有的VQA模型在不需要完全理解图像信息的情况下表现良好，但是不能同时解决不同类型的复杂问题。

Abstract：本文提出了一个包含分类和答案生成功能的CGMVQA模型。

核心思想是利用 multi-head self-attention，即多头自我注意力机制。在图像特征的抽取过程中抽取了不同层级的图像特征（ResNet152）， 

先对图像进行数据增强，对文本进行标记化。使用预先训练好的ResNet152来提取图像特征，并将三种嵌入加在一起来处理文本，参照Bert的MLM训练任务，调整Mask layer及output layer用于特定的训练任务，分类或者生成task。