CGMVQA:一种新的医学视觉问答分类与生成模型
VQA的任务可以分为三个部分:图像特征提取、问题特征提取和特征整合
通常,图像特征提取的方法是使用迁移(转移)学习作为特征提取器来预训练例如深度残差网络(ResNet)的图像;问题特征的提取主要使用LSTM等递归神经网络(早期),现在也有更多的使用预训练模型,例如Transformer或者Bert等预训练模型,利用迁移学习的思想对文本特征进行提取,总体目的是将文本转化为向量;特征提取之后的集成可用于两种方法:分类和生成,用于分类的集成方法可以基于串联、双线性合并等机制,用于生成的集成方法通常基于编解码器框架。
现有的VQA模型在不需要完全理解图像信息的情况下表现良好,但是不能同时解决不同类型的复杂问题。
Abstract:本文提出了一个包含分类和答案生成功能的CGMVQA模型。
核心思想是利用 multi-head self-attention,即多头自我注意力机制。在图像特征的抽取过程中抽取了不同层级的图像特征(ResNet152),
先对图像进行数据增强,对文本进行标记化。使用预先训练好的ResNet152来提取图像特征,并将三种嵌入加在一起来处理文本,参照Bert的MLM训练任务,调整Mask layer及output layer用于特定的训练任务,分类或者生成task。