【论文笔记】Question Answering over Freebase with Multi-Column Convolutional Neural Networks

一、概要
  该文章发于ACL 2015，作者提出了一个基于Freebase，使用multi-column convolutional neural networks(MCCNNs)的自动问答模型，分别从答案路径（answer path）, 答案背景信息（answer context）, 以及答案类型（answer type) 来理解问题，并学习它们的分布式表示（distributed representations），在不使用任何手动特征及词表等条件下在问答数据集WEBQUESTIONS 上取得了很好的结果。

二、模型方法
2.1 模型简介
  假设存在问题$q = w_{1} . . . w_{n}$，作者使用 Freebase Search API来找到问题中的命名实体，如果问题中不含有任何命名实体或者名词，那么就使用返回最相关的一个命名实体，然后使用其在知识库中悬着候选答案，所有的2-hops 节点的实体和关系都视为候选答案，表示为$C_{q}$。
  然后基于每一个候选答案a，根据模型训练得到的答案路径（answer path）, 答案背景信息（answer context）, 以及答案类型（answer type) 的vector representations，以及分别对应的问题的vector representations，即：$f_{1}(q)，f_{2}(q)，f_{3}(q)$，最后根据S (q, a)才选出答案，计算方法为：

$S (q, a) =f_{1}(q)^{T}g_{1}(a) + f_{2}(q)^{T}g_{2}(a) + f_{3}(q)^{T}g_{3}(a)$
  其中 $f_{i}(q)与g_{i}(a)$的维度相同，它们的计算方式为內积，最后把三项相加而得。

2.2 MCCNNs for Question Understanding
  MCCNNs使用了三个管道来学习问题表示和word embeddings，分别对应答案路径，答案背景信息, 以及答案类型。假设存在问题$q = w_{1} . . . w_{n}$，把每个词使用lookup转为词向量，即：$w_{j} = W_{v}u(w_{j})$，$W_{v} ∈ R^{d_{v}×|V |}$，