Interpretable and Compositional Relation Learning by Joint Training with an Autoencoder读书笔记

发表于ACL2018

本文指出KB embedding应当落在一个低维空间中，更能捕捉组合关系；以往方法使用预定义的规则限制维度，但由于不知道哪些关系具有组合性，效果不理想。本文提出使用Autoencoder联合训练达到降维目的。

 

模型：

    实体定义为向量，关系定义为矩阵，composition训练：即根据路径和两端实体计算loss

    Autoencoder联合训练：对关系矩阵构建一个autoencoder，计算重构loss。使用RuLU函数是的code具有稀疏性。

优化技巧：

    直接采用上述两个loss一起训练很难平衡两者关系。

    本文讨论了如何设计参数才能有效训练

结论：

    autoencoder联合训练帮助KB embedding降维，同时Autoencoder学到了低维稀疏表示，更具有可解释性