知识图谱——TransH模型原理

知识图谱——TransH模型原理

1 从TransE到TransH模型

在之前的文章知识图谱——TransE模型原理中，我们介绍了TransE模型的基本原理，对于TransE模型而言，其核心思想为：
$$h+r=t$$
其中h是头实体向量，r是关系向量，t是尾实体向量。根据这个核心公式，我们不难发现其存在着一定的局限性。比如当存在多对一 关系的时候，假设$(h_1,r,t),(h_2,r,t)$，根据TransE的假设，可以确定的是：
$$h_1+r=t，h_2+r=t$$
这使得$h_1,h_2$两个头实体的向量过于相近。与此同时，当存在$(h,r,t),(t,r,h)$均在图谱中出现的时候，会计算出r=0，h=t 。

总的来说，TransE模型在处理多对一，多对多，自反关系的时候，会有很多局限性。为了解决上面的我们提到的问题。提出了TranH模型

2 TransH模型

2.1 基本思想

针对每一个关系r，都给出一个超平面Wr，在Wr超平面上定义关系向量dr，在将原有的头实体h和尾实体t映射到超平面上为hr，tr。要求正确的三元组满足下面的公式
$$hr+dr=tr$$
我们用一张图来表示这个过程：

2.2 相对于TransE的改进

我们之前提到了，在TranE模型中，如果h1和h2向量都存在着同一个关系r和同一个尾实体t。那么在TransE中h1和h2是相同的(或者可以说是特别近似的。)

而在TransH中，如果对于h1和h2向量都存在一个三元组(h1,r,t)和(h2,r,t)。通过TranH中关系r的超平面的映射，则有：
$$h_{1r}+dr=t_r$$
$$h_{2r}+dr=t_r$$
也就是说$h_1,h_2$在超平面上的映射是形同或者近似的。但是对于$h_1,h_2$本身可以是不相近的，也就是可以区分的。如下图所示。

2.3 TranH数学推导

首先，我们假设w为关系平面Wr 的单位法向量，在原始的向量h在法向量w上的投影长度为:
$$|w|\ast |h|\ast cos\theta$$
整理成向量的形式就是：
$$|w|\ast |h|\ast cos\theta \ast w$$
其中，一定要注意的是w是单位法向量。
也就是说，原始向量h在关系平面Wr上的单位法向量的投影为：
$$h_w=w^{T}hw$$
我们用图来表示就是：

则，我们可以确定的是对于映射向量hr有：
$$h_r=h-h_w=h_r-w^{T}hw$$
同理，我们可以确定的有：
$$t_w=w^{T}tw$$
$$t_r=t-t_w=t-w^{T}tw$$

然后我们回忆一下，TransE模型中目标函数：

$$min\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +(h+r-t{)}^2-(h^{\prime }+r^{\prime }-t^{\prime }{)}^2{]}_{+}$$
这里我们采用的是L2范数(欧式距离)，在TranH中，我们也采用这种方式，有兴趣的读者可以采取其他的距离计算公式来计算。

与TranE模型的目标函数类似，我们希望的是最小化在关系平面上的正确三元组的距离差，最小化错误三元组距离差的相反数，也就是：

$$[\gamma +(h_r+d_r-t_r{)}^2-(h_r^{\prime }+d_r-t_r^{\prime }{)}^2{]}_{+}$$
其中，$[x{]}_{+}$表示max(x,0)，而对于$h_r,t_r,h_r^{\prime },t_r^{\prime }$有：

$$h_r=h-h_w=h-w^{T}hw$$
$$t_r=t-t_w=t-w^{T}tw$$
$$t_r^{\prime }=t^{\prime }-t_w^{\prime }=t^{\prime }-w^T{t}^{\prime }w$$
$$h_r^{\prime }=h^{\prime }-h_w^{\prime }=h^{\prime }-w^T{h}^{\prime }w$$

则可以定义总的目标函数为：
$$min\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2{]}_{+}$$

进而，损失函数就确定为：
$$Loss=\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })\in G^{\prime }}[\gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2{]}_{+}$$

下面根据损失函数分别对参数进行求导：对于某一个$h_i$而言，有：
$$\frac{\partial Loss}{\partial h_i}=\sum _{(h_i,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })}\{\begin{array}{llc}2(h_i-w^{T}hw+d_r-t+w^{T}tw)\ast (-w_r^2)& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2>0\\ 0& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2<=0\end{array}$$
同理对于$t_i,h_i^{\prime },t_i^{\prime }$有
$$\frac{\partial Loss}{\partial t_i}=\sum _{(h,r,t_i)\in G}\sum _{(h^{\prime },r^{\prime },t^{\prime })}\{\begin{array}{llc}-2(h-w^{T}hw+d_r-t_i+w^T{t}_{i}w)\ast w_r^2& & \gamma +(h-w^{T}hw+d_r-t_i+w^T{t}_{i}w{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2>0\\ 0& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2<=0\end{array}$$
$$\frac{\partial Loss}{\partial h_i^{\prime }}=\sum _{(h,r,t)\in G}\sum _{(h_i^{\prime },r^{\prime },t^{\prime })}\{\begin{array}{llc}-2(h_i^{\prime }-w^T{h}_i^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w)\ast w_r^2& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h_i^{\prime }-w^T{h}_i^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2>0\\ 0& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h_i^{\prime }-w^T{h}_i^{\prime }w+d_r-t^{\prime }+w^T{t}^{\prime }w{)}^2<=0\end{array}$$
$$\frac{\partial Loss}{\partial t_i^{\prime }}=\sum _{(h,r,t)\in G}\sum _{(h^{\prime },r^{\prime },t_i^{\prime })}\{\begin{array}{llc}2(h^{\prime }-w^T{h}_i^{\prime }w+d_r-t_i^{\prime }+w^T{t}_i^{\prime }w)\ast (-w_r^2)& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t_i^{\prime }+w^T{t}_i^{\prime }w{)}^2>0\\ 0& & \gamma +(h-w^{T}hw+d_r-t+w^{T}tw{)}^2-(h^{\prime }-w^T{h}^{\prime }w+d_r-t_i^{\prime }+w^T{t}_i^{\prime }w{)}^2<=0\end{array}$$

3、参考文章

1. TransH 算法详解