2020-WWW）Relation Adversarial Network for Low Resource Knowledge Graph Completion

（2020-WWW）Relation Adversarial Network for Low Resource Knowledge Graph Completion

基于关系对抗网络的低资源知识图谱补全

知乎详解

摘要

老生常谈小样本，为了解决这个问题提出了：加权关系对抗网络。利用对抗网络来从高资源关系中学习到不同但相关的低资源关系。

关键：知识图谱补全、对抗转移学习、链路预测、关系提取

一、介绍

长尾效应以及低资源：

关系抽取 ：远程监督方法，通过实体从句子中抽取关系效果不好。

对抗转移学习 ：转移学习通过在高资源的区域学习知识，然后应用于低资源区域。

关系对抗网络 ：

负转移 ：

我们为了解决低资源的问题，提出**Weighted Relation Adversarial Network (wRAN)**框架，分为三个部分：实例编码器、对抗关系自适应、权重关系自适应

主要贡献：

• 第一个提出对抗转移学习来解决低资源的知识图谱补全问题，这样可以很容易的集成链路预测和关系提取
• 我们提出了RAN（relation adversarial network）关系对抗网络。利用关系鉴别器来区分不同关系的样本，并学习转移从元关系到目标关系。
• 我们提出了一种relation-gated mechanism （理解不来）
• 取得最好的结果
  
  
  

二、相关工作

知识图谱补全：

对抗域适应（Adversarial Domain Adaptation）

三、方法模型（methodolgy）

3.1问题定义

我们提出关系适应，将自适应多个源关系对应到一个或多个目标关系。这与标准的域适配相似但有区别。

一组源关系：$S={\left\{R_s^i\right\}}_{i=1}^{r_s}$，每一个源关系$R_s^i={\left\{x_j^s,y_j^s\right\}}_{j=1}^{n_s}$

目标关系：$R_t={\left\{x_j^t\right\}}_{j=1}^{n_t}$，

3.2 框架总览

Instance Encoder（输入编码）：利用神经网络将实例语义编码为向量，采用CNN

Adversarial Relation Adaptation（对抗关系适应）：我们遵循标准的对抗转移学习框架，该框架寻找可以区分具有不同关系分布的样本的关系鉴别器。

Weighted Relation Adaptation（权重关系适应）：我们提出了一种关系门机制，以自动地识别不相关的源关系/样本和低权重，以解决负面转移的问题。

3.3 Instance Encoder

输入：一个句子，

${\min }_{F_s,C}{\mathbb{L}}_s={\mathbb{E}}_{x,y\sim p_s(x,y)}L\left(C\left(F_s(x;\theta )\right),y\right)$

3.4 Adversarial Relation Adaptation

遵循标准的对抗迁移学习框架，采用wRAN

$\begin{array}{rl}\underset{F_s,F_t}{\min }\underset{D}{\max }\mathbb{L}\left(D,F_s,F_t\right)=& {\mathbb{E}}_{x\sim p_s(x)}\left[\log D\left(F_S(x)\right)\right]+\\ & {\mathbb{E}}_{x\sim p_t(x)}\left[1-\log D\left(F_t(x)\right)\right]\end{array}$

3.5 Weighted Relation Adaptation

3.6 Initialization and Training

四、实验

https://zhuanlan.zhihu.com/p/322384368

https://zhuanlan.zhihu.com/p/51499968

https://zhuanlan.zhihu.com/p/73947456

https://github.com/jindongwang/transferlearning/blob/master/doc/%E8%BF%81%E7%A7%BB%E5%AD%A6%E4%B9%A0%E7%AE%80%E4%BB%8B.md

补充介绍

迁移学习：域适配问题

域适配 Domain adaptation

数据：源域数据、目标域数据

源域数据是丰富并且有标记的，而目标域数据是充足但是没有标记的，但是源域和目标域的特征空间和标记空间相同。虽然源域和目标域的特征空间相同，但是两者的特征分布却不同（两者的样本并不在特征空间的相同位置）

域适配问题最主要的就是如何减少source和target不同分布之间的差异，域适配包括无监督域适配和半监督域适配，前者的target是完全没有label的，后者的target有部分的label，但是数量非常的少。

这里主要介绍基于深度学习的方法，在我们已知finetuning之后，其实很容易想到，将在有标签的域A上训练好的模型用在无标签或者少量标签的域B上，中间的操作只需要改变输入，但是这种方式就会由于域A和域B数据分布不同导致效果并不一定会非常好，如果有方式能够减少A和B的差异，那就可以用同一个模型来跑A和B的数据。

常见模型：

• DeCAF

• DDC

• DAN

• JAN

Domain-Adversarial Training of Neural Networks(DANN)