论文笔记:Dual Quaternion Knowledge Graph Embeddings
一、研究任务:
知识图谱补全(链接预测)
注:文中虽然是以对偶四元数解释的,本质上可以按照八元数理解。
二、动机:
以前的绝大多数模型建模关系方式是单一的,平移或者旋转,限制了底层模型的表达能力。因此提出对偶四元数知识图谱嵌入方法,在对偶四元数空间建模,可同时包含平移和旋转操作。
三、对偶四元数基本性质
-
四元数:
四元数是超复数系统,一个四元数被表示为: q = q 0 + q 1 i + q 2 j + q 3 k \mathbf{q}=q_0 + q_1 \mathbf{i}+ q_2\mathbf{j} + q_3\mathbf{k} q=q0+q1i+q2j+q3k,其中 i , j , k \mathbf{i},\mathbf{j},\mathbf{k} i,j,k为三个维度的单位矢量。
-
对偶数:
一个对偶数被定义为 z d = a + ϵ a ϵ z_d=a + \epsilon a _{\epsilon} zd=a+ϵaϵ,其中 a ϵ a _{\epsilon} aϵ和 a a a都是实数(代数中的任意一个元素), ϵ \epsilon ϵ是一个对偶单位,并有 ϵ 2 = 0 \epsilon^2=0 ϵ2=0。在公式中, a ϵ a _{\epsilon} aϵ和 a a a是 z d z_d zd的实部和对偶部分。 -
对偶四元数:
一个对偶四元数 Q Q Q的形式为 Q = a + ϵ b Q=a + \epsilon b Q=a+ϵb,其中:
a = a 0 + a 1 i + a 2 j + a 3 k b = b 0 + b 1 i + b 2 j + b 3 k a=a_0 + a_1 \mathbf{i} + a_2 \mathbf{j} + a_3 \mathbf{k} \\b=b_0 + b_1 \mathbf{i} + b_2 \mathbf{j} + b_3 \mathbf{k} a=a0+a1i+a2j+a3kb=b0+b1i+b2j+b3k
根据对偶数的性质, a a a和 b b b分别为 Q Q Q的实部和对偶部。可以将 Q Q Q表示为八元组:
Q = ( a 0 , a 1 , a 2 , a 3 , b 0 , b 1 , b 2 , b 3 ) Q=(a_0,a_1,a_2,a_3,b_0,b_1,b_2,b_3) Q=(a0,a1,a2,a3,b0,b1,b2,b3) -
对偶四元数可以建模转移和旋转
设 q = cos θ 2 + u ^ sin θ 2 q = \cos \frac{\theta}{2} + \widehat{\boldsymbol{u}} \sin \frac{\theta}{2} q=cos2θ+u sin2θ为四元数,表示围绕单位向量 u ^ \widehat{\boldsymbol{u}} u 通过 θ \theta θ的旋转,可以观察到 ∣ q ∣ = 1 |q|=1 ∣q∣=1。接着将对应的旋转矩阵定义为 R R R并且设 t = ( t 1 , t 2 , t 3 ) \boldsymbol{t}=(t_1, t_2, t_3) t=(t1,t2,t3)为平移,可以被设置为纯四元数。一个点 v v v经历过 R R R的旋转和 t \boldsymbol{t} t的平移变为 R v + t R v + \boldsymbol{t} Rv+t。平移向量 R R R和 t t t可以被对偶四元数 σ \sigma σ表示,写为:
σ = q + ϵ 2 t q \sigma = q + \frac{\epsilon}{2} \boldsymbol{t}q σ=q+2ϵtq
特别地,如果变换为纯旋转,即 t = 0 \boldsymbol{t}=0 t=0,我们得到 σ = q \sigma = q σ=q,如果变换为纯平移,令 θ = 0 \theta=0 θ=0,我们得到 σ = 1 + ϵ 2 t \sigma = 1 + \frac{\epsilon}{2} \boldsymbol{t} σ=1+2ϵt,式子为单位对偶四元数。
四、建模过程
-
符号描述
-
知识图谱 G G G,实体个数 N N N,关系个数 M M M;
-
实体嵌入作为一个对偶四元数矩阵 Q ∈ H d N × k \boldsymbol{Q} \in \mathbb{H} ^{N×k} _d Q∈HdN×k,其中每一行的嵌入向量维度为 k k k;
-
关系嵌入矩阵为 W ∈ H d M × k \boldsymbol{W} \in \mathbb{H} ^{M×k} _d W∈HdM×k;
-
给定三元组 ( h , r , t ) (h,r,t) (h,r,t), h , r , t h,r,t h,r,t嵌入分别为
Q h = ( a 0 , a 1 , a 2 , a 3 , b 0 , b 1 , b 2 , b 3 ) Q t = ( e 0 , e 1 , e 2 , e 3 , f 0 , f 1 , f 2 , f 3 ) W r = ( c 0 , c 1 , c 2 , c 3 , d 0 , d 1 , d 2 , d 3 ) \boldsymbol{Q_h} = \boldsymbol{(a_0, a_1, a_2, a_3, b_0, b_1, b_2, b_3)} \\ \boldsymbol{Q_t} = \boldsymbol{(e_0, e_1, e_2, e_3, f_0, f_1, f_2, f_3)} \\ \boldsymbol{W_r} = \boldsymbol{(c_0, c_1, c_2, c_3, d_0, d_1, d_2, d_3)} Qh=(a0,a1,a2,a3,b0,b1,b2,b3)Qt=(e0,e1,e2,e3,f0,f1,f2,f3)Wr=(c0,c1,c2,c3,d0,d1,d2,d3)
-
-
对偶四元数关系的规范化
- 为了避免缩放的影响,使用施密特正交化的一些步骤来将关系的对偶四元数
W
r
\boldsymbol{W_r}
Wr归一化为单位化关系对偶四元数
W
r
⋄
\boldsymbol{W} _r ^{\diamond}
Wr⋄,定义
W
r
=
(
c
,
d
)
\boldsymbol{W_r=(c,d)}
Wr=(c,d),其中
c
=
(
c
0
,
c
1
,
c
2
,
c
3
)
\boldsymbol{c = (c_0, c_1, c_2, c_3)}
c=(c0,c1,c2,c3),
d
=
(
d
0
,
d
1
,
d
2
,
d
3
)
\boldsymbol{d = (d_0, d_1, d_2, d_3)}
d=(d0,d1,d2,d3),并定义:
d ‾ = d − ( d , c ) ( c , c ) c = ( d ‾ 0 , d ‾ 1 , d ‾ 2 , d ‾ 3 ) \overline{\boldsymbol{d}}=\boldsymbol{d}-\frac{(\boldsymbol{d}, \boldsymbol{c})}{(\boldsymbol{c}, \boldsymbol{c})} \boldsymbol{c}=\left(\overline{\boldsymbol{d}}_{0}, \overline{\boldsymbol{d}}_{1}, \overline{\boldsymbol{d}}_{2}, \overline{\boldsymbol{d}}_{3}\right) d=d−(c,c)(d,c)c=(d0,d1,d2,d3)
标准化变量 c ′ c^{\prime} c′为
c ′ = c ∥ c ∥ = c 0 + c 1 i + c 2 j + c 3 k c 0 2 + c 1 2 + c 2 2 + c 3 2 \boldsymbol{c^{\prime}}=\frac{c}{\|c\|}=\frac{c_{0}+c_{1} i+c_{2} j+c_{3} k}{\sqrt{c_{0}^{2}+c_{1}^{2}+c_{2}^{2}+c_{3}^{2}}} c′=∥c∥c=c02+c12+c22+c32c0+c1i+c2j+c3k
接下来定义 W r ⋄ = ( c ′ , d ‾ ) = ( c , d ) = ( c 0 , c 1 , c 2 , c 3 , d 0 , d 1 , d 2 , d 3 ) \boldsymbol{W} _r ^{\diamond} = (\boldsymbol{c^{\prime}},\overline{\boldsymbol{d}}) = (\boldsymbol{c}, \boldsymbol{d}) = \boldsymbol{(c_0, c_1, c_2, c_3, d_0, d_1, d_2, d_3)} Wr⋄=(c′,d)=(c,d)=(c0,c1,c2,c3,d0,d1,d2,d3),得到
c 0 2 + c 1 2 + c 2 2 + c 3 2 = 1 c 0 d 0 + c 1 d 1 + c 2 d 2 + c 3 d 3 = 0 c_{0}^{2}+c_{1}^{2}+c_{2}^{2}+c_{3}^{2} = 1 \\ c_{0}d_{0} + c_{1}d_{1} + c_{2}d_{2} + c_{3}d_{3} = 0 c02+c12+c22+c32=1c0d0+c1d1+c2d2+c3d3=0
可以观察到自由度从8减为6,其物理解释恰好是三维世界中刚体的自由度。
- 为了避免缩放的影响,使用施密特正交化的一些步骤来将关系的对偶四元数
W
r
\boldsymbol{W_r}
Wr归一化为单位化关系对偶四元数
W
r
⋄
\boldsymbol{W} _r ^{\diamond}
Wr⋄,定义
W
r
=
(
c
,
d
)
\boldsymbol{W_r=(c,d)}
Wr=(c,d),其中
c
=
(
c
0
,
c
1
,
c
2
,
c
3
)
\boldsymbol{c = (c_0, c_1, c_2, c_3)}
c=(c0,c1,c2,c3),
d
=
(
d
0
,
d
1
,
d
2
,
d
3
)
\boldsymbol{d = (d_0, d_1, d_2, d_3)}
d=(d0,d1,d2,d3),并定义:
-
平移和旋转头实体
如上图所示,如果三元组存在于知识图谱中,将旋转 h h h到 h ′ h ^ {\prime} h′并且平移到 h + h_{+} h+,使得 h 2 h_2 h2和 t t t之间的角度为0(即 r + r_{+} r+),此外,使得头部与尾部实体蒸饺,使得它们的成绩为0(即 r − r_ - r−)。接着,定义一个为 Q h \boldsymbol{Q_h} Qh和 W r ⋄ \boldsymbol{W} _r ^{\diamond} Wr⋄的中间变量 Q h ′ \boldsymbol{Q_h}^{\prime} Qh′:
Q h ⊗ ‾ W r ⋄ = ( a h ⊙ p − b h ⊙ q − c h ⊙ u − d h ⊙ v ) + ( a h ⊙ q + b h ⊙ p + c h ⊙ v − d h ⊙ u ) i + ( a h ⊙ u − b h ⊙ v + c h ⊙ p + d h ⊙ q ) j + ( a h ⊙ v + b h ⊙ u − c h ⊙ q + d h ⊙ p ) k , \begin{aligned} & Q_{h} \underline{\otimes} W_{r}^{\diamond} \\ =&\left(a_{h} \odot p-b_{h} \odot \boldsymbol{q}-\boldsymbol{c}_{\boldsymbol{h}} \odot \boldsymbol{u}-\boldsymbol{d}_{\boldsymbol{h}} \odot \boldsymbol{v}\right) \\ &+\left(\boldsymbol{a}_{\boldsymbol{h}} \odot \boldsymbol{q}+\boldsymbol{b}_{\boldsymbol{h}} \odot \boldsymbol{p}+\boldsymbol{c}_{\boldsymbol{h}} \odot \boldsymbol{v}-\boldsymbol{d}_{\boldsymbol{h}} \odot \boldsymbol{u}\right) \mathbf{i} \\ &+\left(\boldsymbol{a}_{\boldsymbol{h}} \odot \boldsymbol{u}-\boldsymbol{b}_{\boldsymbol{h}} \odot \boldsymbol{v}+\boldsymbol{c}_{\boldsymbol{h}} \odot \boldsymbol{p}+\boldsymbol{d}_{\boldsymbol{h}} \odot \boldsymbol{q}\right) \mathbf{j} \\ &+\left(\boldsymbol{a}_{\boldsymbol{h}} \odot \boldsymbol{v}+\boldsymbol{b}_{\boldsymbol{h}} \odot \boldsymbol{u}-\boldsymbol{c}_{\boldsymbol{h}} \odot \boldsymbol{q}+\boldsymbol{d}_{\boldsymbol{h}} \odot \boldsymbol{p}\right) \mathbf{k}, \end{aligned} =Qh⊗Wr⋄(ah⊙p−bh⊙q−ch⊙u−dh⊙v)+(ah⊙q+bh⊙p+ch⊙v−dh⊙u)i+(ah⊙u−bh⊙v+ch⊙p+dh⊙q)j+(ah⊙v+bh⊙u−ch⊙q+dh⊙p)k,
其中 ⊙ \odot ⊙定义了两个向量之间的元素乘法,经过上面公式,得到:
Q h ′ = ( h 0 + ϵ h 0 ′ ) + ( h 1 + ϵ h 1 ′ ) i + ( h 2 + ϵ h 2 ′ ) j + ( h 3 + ϵ h 3 ′ ) k = a h ′ + b h ′ i + c h ′ j + d h ′ k \begin{aligned} Q_{h}^{\prime}=&\left(\boldsymbol{h}_{0}+\epsilon \boldsymbol{h}_{\mathbf{0}}^{\prime}\right)+\left(\boldsymbol{h}_{\mathbf{1}}+\epsilon \boldsymbol{h}_{\mathbf{1}}^{\prime}\right) \boldsymbol{i}+\left(\boldsymbol{h}_{2}+\epsilon \boldsymbol{h}_{\mathbf{2}}^{\prime}\right) \boldsymbol{j} \\ &+\left(\boldsymbol{h}_{3}+\epsilon \boldsymbol{h}_{3}^{\prime}\right) \boldsymbol{k} \\ =& \boldsymbol{a}_{\boldsymbol{h}}^{\prime}+\boldsymbol{b}_{h}^{\prime} \boldsymbol{i}+\boldsymbol{c}_{h}^{\prime} \boldsymbol{j}+\boldsymbol{d}_{h}^{\prime} \boldsymbol{k} \end{aligned} Qh′==(h0+ϵh0′)+(h1+ϵh1′)i+(h2+ϵh2′)j+(h3+ϵh3′)kah′+bh′i+ch′j+dh′k
表示头实体经过平移和旋转的结果,其中h系数经过合并计算项获得。 -
得分函数和损失函数
-
得分函数 ϕ ( h , r , t ) = ⟨ Q h ′ , Q t ⟩ \phi(h, r, t)=\left\langle\boldsymbol{Q}_{\boldsymbol{h}}^{\prime}, \boldsymbol{Q}_{\boldsymbol{t}}\right\rangle ϕ(h,r,t)=⟨Qh′,Qt⟩定义为对偶四元数内积:
ϕ ( h , r , t ) = ⟨ a h ′ , a t ⟩ + ⟨ b h ′ , b t ⟩ + ⟨ c h ′ , c t ⟩ + ⟨ d h ′ , d t ⟩ \phi(h, r, t)=\left\langle\boldsymbol{a}_{\boldsymbol{h}}^{\prime}, \boldsymbol{a}_{\boldsymbol{t}}\right\rangle+\left\langle\boldsymbol{b}_{\boldsymbol{h}}^{\prime}, \boldsymbol{b}_{\boldsymbol{t}}\right\rangle+\left\langle\boldsymbol{c}_{\boldsymbol{h}}^{\prime}, \boldsymbol{c}_{\boldsymbol{t}}\right\rangle+\left\langle\boldsymbol{d}_{\boldsymbol{h}}^{\prime}, \boldsymbol{d}_{\boldsymbol{t}}\right\rangle ϕ(h,r,t)=⟨ah′,at⟩+⟨bh′,bt⟩+⟨ch′,ct⟩+⟨dh′,dt⟩ -
损失函数:
L ( Q , W ) = ∑ r ( h , t ) ∈ Ω ∪ Ω − log ( 1 + exp ( − Y h r t ϕ ( h , r , t ) ) ) + λ 1 ∥ Q ∥ 2 2 + λ 2 ∥ W ∥ 2 2 \begin{aligned} L(\boldsymbol{Q}, \boldsymbol{W})=& \sum_{r(h, t) \in \Omega \cup \Omega^{-}} \log \left(1+\exp \left(-Y_{h r t} \phi(h, r, t)\right)\right) \\ &+\lambda_{1}\|\boldsymbol{Q}\|_{2}^{2}+\lambda_{2}\|\boldsymbol{W}\|_{2}^{2} \end{aligned} L(Q,W)=r(h,t)∈Ω∪Ω−∑log(1+exp(−Yhrtϕ(h,r,t)))+λ1∥Q∥22+λ2∥W∥22
-