Text-Enhanced Representation Learning for Knowledge Graph

Text-Enhanced Representation Learning for Knowledge Graph

0. 问题

• TransE、TransH、TransR 在 1-N，N-1 和 N-N 关系中的表现不佳
• 图谱结构稀疏导致学习到的表征不准确

1. 总结

利用Word2Vec从文本中学习实体和关系的上下文表征, 然后线性变换到图谱嵌入空间中.学习线性变换的参数, 使得图谱嵌入空间中, 正确三元组的$\Vert \hat{\mathrm{h}}+\hat{\mathbf{r}}-\hat{\mathbf{t}}{\Vert }_2^2$ 接近于0.

2. 输入

• 知识图谱 $KG$, 以三元组$(h,r,t)$表示
• 语料库 D = { w 1 , w 2 , ⋯   , w m } D=\left\{w_{1}, w_{2}, \cdots, w_{m}\right\} D={ w1​,w2​,⋯,wm​}, $w_i$为单词,$m$为文本长度

3. 方法

• Entity Annotation

  使用实体链接工具(AIDA, TAGME, Wikify! 等)来标注$D$中的实体. 标注后得到 D ′ = { x 1 , x 2 , ⋯   , x m } {\rm{D'}}=\left\{x_{1}, x_{2}, \cdots, x_{m}\right\} D′={ x1​,x2​,⋯,xm​}, $x_i$为$KG$中的实体或$D$中的单词. ${\mathrm{m}}^{\prime }<m$, 因为$D$中的一些词组（连续几个单词）被标为了一个实体.

• Textual Context Embedding

  构建共现网络 G = ( X , Y ) \