学习心得8.24
这周读的两篇2019年实体对齐的文章:OTEA和SEA。这两篇文章都是由阿卜杜拉国王科技大学的Shichao Pei, Lu Yu于2019年发表的(IJCAI,WWW)。同一作者同一研究领域同一年的两篇文章,因此在想法、方法、实验(代码)以及写作方面都有一些类似的地方。
针对标记数据难以获取的问题,OTEA提出从全局(group-level)分布匹配的角度去解决,这样可以减少未标记实体带来的损失。此外,作者考虑从双向进行KG的translation。并且对获得的平移矩阵M1,M2施加一个正则化器(L2,1范数),这样可以使得平移矩阵接近正交。实验证明,正则化器和双向对齐的策略都能够提升实体对齐的效果。
受到词向量的启发(在对单词进行编码是,词向量会更多的编码进词的频率信息而不是语义信息,显然语义信息才是我们需要的),SEA一文也在KG嵌入的过程中发现了类似的现象:度值相似的实体往往会聚集在嵌入空间的同一区域,这对实体对齐任务是有妨碍的,因为这样的嵌入可能包含的degree的信息要多过实体本身的语义信息。由此,作者提出以对抗训练的方式,减少度值对实体嵌入的影响,也就是文中的度感知的实体嵌入模型。此外针对缺少训练数据的问题,作者基于循环一致性,提出了一种半监督的训练方式。其实文中半监督的训练思想还是不难想到的,有点像无监督训练中的编码器(要善于发散思维与联想)。但是这个组件具体对任务的性能有没有提升,文中并没有做相关的实验(可能提升也不大,因为有标签数据和无标签数据对损失函数的的比重为2.5:0.25)。
这两文文章给自己的启发:
1.有监督的实体对齐现在多的人太多了,而无标记实体中蕴含的丰富的信息还尚未探索,因此可以尝试考虑半监督和无监督的实体对齐。
2.作者从词嵌入中的分布问题联想到KG的嵌入。那我们在平时也要注意培养自己的发散思维与联想能力,注意多学科、多研究领域之间的联系。