学习心得7.13

Wang Z, Lv Q, Lan X, et al. Cross-lingual Knowledge Graph Alignment via Graph Convolutional Networks[C]. empirical methods in natural language processing, 2018: 349-357.
2018年EMNLP上的一篇文章，旨在用图卷积网络解决跨语言的知识图谱中的实体对齐问题。
GCN-Align的基本思想是使用GCN将来自不同语言的实体嵌入到统一的向量空间，其中对齐的实体应尽可能接近。
GCN-Align假设：

1. 等价的实体往往具有相似的属性。
2. 等价实体的相邻实体通常也是相互等价的。

该模型分别对实体的结构信息和属性信息进行建模，下面从这两个方向进行探讨。
一、结构信息
不同于之前主流的基于翻译模型的实体对齐（利用改进的TransE等模型进行结构信息的建模），GCN-Align使用了一个比较简单的图卷积网络模型嵌入实体的结构信息，之所以说该模型比较简单，原因有二。一是模型本身结构的简单，只用了两层GCN layers，参数不多。二是文章中使用的图卷积操作，只是最普通（common）的卷积计算，与标准的图卷积层的计算相比，仅仅改变了公式中连接矩阵（connectivity matrix）A的定义。标准的图卷积层A^=A+I。文章中的A考虑了头尾实体数量对某一类关系的影响（但本人认为作者公式设计的不合理，还有改进的空间）。
对于结构的建模，可以考虑使用更加高级的图神经网络模型，比如 Relational GCNs，Graph Attention Networks (GATs)（RDGCN这篇基于图神经网络的实体对其文章中就用到了）。此外，RSN这篇文章中对关系路径进行建模从而可以捕获知识图谱中的长期关系依赖。受此启发，正在考虑是不是可以用图神经网络聚合某个实体多跳邻居的信息（K-hop子图）。
二、属性信息
目前读过三篇实体对齐文章运用了属性信息。
GCN-Align是将每个实体的属性向量作为属性嵌入的初始输入，送给GCN进行处理。属性嵌入的权重为0.1。

JAPE参考了Skip-gram的思想，在对属性进行嵌入时，使关联性（ correlate）高的属性尽量在嵌入空间中靠近。这就在属性嵌入训练时产生了一个问题：需要额外的先验训练数据（哪些属性是关联的，哪些属性是不关联的）。此外，这里属性嵌入基于的假设是：拥有相似属性的实体它们对齐的可能性更大。但是，我认为这种假设并不很准确。举个例子，北京和伦敦这两个城市有相似的属性（经度、纬度、面积、人口等等），但他们显然不是一个实体。所以，两个实体如果具有相似的属性，那么我们只能推测它们大概率属于同一类实体（人物、地点、机构等），想要判断它们是否对齐，还要进一步考虑属性的值是否相等（相似）。而JAPE舍弃了具体的属性值，将其抽象为值的类型。我觉得这样的处理方式还是不够精细的。JAPE中属性嵌入的权重为0.05。

AtrrE中用到了具体的属性值，作者通过字符级别的嵌入，使用了三种合成函数，将每个属性值转化成了具体的向量（其实就是词向量的过程），其中相近的属性值对应的向量在嵌入空间中也会靠近。然后参照TransE，将属性（predicate）考虑成实体到属性值的转化（（e，r，a））。需要注意的是，AttrE是在单语言知识图谱之间进行实体对齐的，无论是谓词对齐的过程（通过字符串之间的编辑距离）还是属性值词向量的过程，与多语言的实体对齐相比，难度都是要小不少的。AtrrE中属性信息和结构信息的比重为1：1。
综上，在做实体对齐时，结构信息是起主要作用的，属性信息只能起辅助作用。但是，上述三篇文章都没有很好的利用属性信息。我认为，在实体对齐任务中，更深入的利用属性信息的挑战在于跨语言的词嵌入技术。打个比方，我们怎么嵌入属性“国籍”和“nationality”使其尽量接近，又比如，我们如何使得”五月一号“和”1 May“尽量接近。