一、概要
该文章发于ACL 2015,作者提出了一个基于Freebase,使用multi-column convolutional neural networks(MCCNNs)的自动问答模型,分别从答案路径(answer path), 答案背景信息(answer context), 以及答案类型(answer type) 来理解问题,并学习它们的分布式表示(distributed representations),在不使用任何手动特征及词表等条件下在问答数据集WEBQUESTIONS 上取得了很好的结果。
二、模型方法
2.1 模型简介
假设存在问题 q=w1...wn ,作者使用 Freebase Search API来找到问题中的命名实体,如果问题中不含有任何命名实体或者名词,那么就使用返回最相关的一个命名实体,然后使用其在知识库中悬着候选答案,所有的2-hops 节点的实体和关系都视为候选答案,表示为 Cq 。
然后基于每一个候选答案a,根据模型训练得到的答案路径(answer path), 答案背景信息(answer context), 以及答案类型(answer type) 的vector representations,以及分别对应的问题的vector representations,即: f1(q),f2(q),f3(q) ,最后根据S (q, a)才选出答案,计算方法为:
其中 fi(q)与gi(a) 的维度相同,它们的计算方式为內积,最后把三项相加而得。
2.2 MCCNNs for Question Understanding
MCCNNs使用了三个管道来学习问题表示和word embeddings,分别对应答案路径,答案背景信息, 以及答案类型。假设存在问题 q=w1...wn ,把每个词使用lookup转为词向量,即: wj=Wvu(wj) , Wv∈Rdv×|V| ,