Reasoning With Neural Tensor Networks for Knowledge Base Completion

[ 论文阅读地址 ]

1. 问题描述

输入

　　一个三元组：$(e_1, R, e_2)$，例如(Bengal tiger, has part, tail)。

输出

　　三元组$(e_1, R, e_2)$ 中，$e_1$ 和$e_2$ 有关系$R$ 的置信度。

2. 模型

输出

打分函数：

$$g(e_1, R, e_2) = u_R^Tf(e_1^TW_R^{[1:k]}e_2+V_R\begin{bmatrix} e_1 \\ e_2 \end{bmatrix}+b_R)$$
其中：

• $u_R^T$ 是属于类别R的权值。
• $f$ 是tanh激活函数，对输入的每个元素单独做tanh激活，即$f:\mathbb{R}^n\to \mathbb{R}^n$ 。
• $e_1$ 和$e_2$ 是输入的实体的向量表示，最初是直接赋随机值，训练时会更新。$e_1 \in \mathbb{R}^{d \times 1}$ 文章后文中提到了两点改进：
  
  • 不是每个输入实体对应一个向量，而是每个词语对应一个向量，实体向量由词向量求均值得到（作者提到，他们也采用了RNN进行实体向量的学习，但是由于数据中90%的实体都是由不超过两个词语构成，因而RNN并没有比简单的取平均更好）。同时在网络训练时候，也会对词向量进行更新。
  • 对于词向量，采用已经训练好的词向量去作为初始化值会比随机初始化效果更好。
    
    
    
    
• $W_R^{[1:k]}$ 为和类别$R$ 有关的张量，$W_R^{[1:k]} \in \mathbb{R}^{d\times d\times k}$。$e_1^TW_R^{[1:k]}e_2$ 可以看成 ⎡⎣⎢⎢eT