论文:MMCoQA: Conversational Question Answering over Text, Tables, and Images
论文核心
面向多模态信息,包括了image/text和table数据,如何开展多轮对话。
这个过程中,需要考虑,encoder如何编码?score如何计算?哪些部分可以复用已有的模型等等。
论文的方法是端到端的知识问答结构,输入的question,产生的是answer span,包括了start和end部分。
整个抽取过程分为了3部分:问题理解,多模态证据检索和答案抽取。
实现的效果,如下:
前言
现有的知识问答,可以分为:基于知识库的问答、基于文件的问答和基于社区的问答。
目前的研究,多是基于单一知识库的问答。
文章工作
数据集构建
1.产生潜在的对话集
第一步:对于在问题池中的句子,识别问题和答案中的entity.
第二步:从问题池中随机选择包含entity的问题。
2.分解复杂的问题
将复杂的问题分解为多个子问题,数据集中提供了问题的类型(问题类型表示复杂问题的分解问题的逻辑和目标数量)和中间答案
3.将分解后的问题,重新定义为多轮对话。
数据质量的保证:5步——train,annotation,check,modification,re-checking.
数据集分析
问题分析——问题的长度
答案分析——答案的模态类型
模态分析——问题需要什么模态的数据来回答
模型(MAE模型)
MAE 将 MMCoQA 任务分为三个步骤:对话式问题理解、多模态证据检索和自适应答案提取。
对话式问题理解
Encoder部分。
对于问题,采用bert将其编码
剩余的答案部分的语料,分不同模态做处理。
文本——bert。
表格——linearize tables by rows
图像——Resnet network
(在encoder部分,table/passage/question/answer统一采用的是bert编码,函数——retriever_convert_example_to_feature,img是先transform to tensor ,之后采用函数_image_transform,但是,这好像不是resnet)
query_feature_dict = {‘query_input_ids’: np.asarray(query_feature.input_ids),
‘query_token_type_ids’: np.asarray(query_feature.token_type_ids),
‘query_attention_mask’: np.asarray(query_feature.attention_mask),
‘qid’: qas_id}
entry['question_type']=="text"
passage_feature_dict = {'passage_input_ids': np.asarray(passage_feature.input_ids),
'passage_token_type_ids': np.asarray(passage_feature.token_type_ids),
'passage_attention_mask': np.asarray(passage_feature.attention_mask),
'retrieval_label': passage_feature.label,
'example_id': example_id,
'image_input':np.zeros([3,512,512])}
entry['question_type']=="image"
passage_feature_dict = {'passage_input_ids': np.asarray([0]*self._passage_max_seq_length),
'passage_token_type_ids': np.asarray([0]*self._passage_max_seq_length),
'passage_attention_mask': np.asarray([0]*self._passage_max_seq_length),
'retrieval_label': 1,
'example_id': example_id,
'image_input':img}
table_id=entry['table_id']
passage_feature_dict = {'passage_input_ids': np.asarray(table_feature.input_ids),
'passage_token_type_ids': np.asarray(table_feature.token_type_ids),
'passage_attention_mask': np.asarray(table_feature.attention_mask),
'retrieval_label': table_feature.label,
'example_id': example_id,
'image_input':np.zeros([3,512,512])}
image_encoder=torchvision.models.resnet101(pretrained=True)
self.query_encoder = BertModel(config)
self.passage_encoder = BertModel(config)
多模态证据检索
self._modality_dict={‘text’:0,‘table’:0,‘image’:1}
在model函数中,BertForOrconvqaGlobal函数中提到了
self.modality_detection=nn.Linear(config.proj_size, 3)
以知识问答的范式解决问题时,
self.qa_outputs = nn.Linear(config.hidden_size, config.num_qa_labels)
qa_logits = self.qa_outputs(sequence_output)
start_logits, end_logits = qa_logits.split(1, dim=-1)
最大化inner product search
冻结encoder部分的参数,通过inner product计算question embedding和知识库item之间的相似度。选择top-N .
自适应答案提取
首先,根据问题,做分类模型,选择答案最可能的模态形式。
之后,针对三种模态的信息,建立抽取模型。
textExtractor:
TextExtractor predicts an answer span by computing two scores for each token in a passage in Pr to be the start token and the end token
TableExtractor.we concatenate the question text to the linearized table sequence, and encode them using BERT. T
依旧计算start和end的token。
ImageExtractor:We extract the visual feature vi for an
image with the ResNet, and append the question
text with all the answers in the answer set as a text
sequence
计算start和end token。
答案的分值,最终包括三部分,检索+模态+answer extraction
loss = loss.mean() # mean() to average on multi-gpu parallel (not distributed) training
retriever_loss = retriever_loss.mean()
reader_loss = reader_loss.mean()
qa_loss = qa_loss.mean()
rerank_loss = rerank_loss.mean()
>qa的loss计算部分
qa_loss_fct = CrossEntropyLoss(ignore_index=ignored_index)
start_loss = qa_loss_fct(start_logits, start_positions)
end_loss = qa_loss_fct(end_logits, end_positions)
qa_loss = (start_loss + end_loss) / 2
>模态计算部分
self.modality_detection=nn.Linear(config.proj_size, 3)
modality_loss_fct =CrossEntropyLoss()
modality_loss = modality_loss_fct(modality_logits, modality_labels)