Relational retrieval using a combination of path-constrained random walks

---

Written by	title	date
zhengchu1994	Relational retrieval using a combination of path-constrained random walks	2018-5-22 07:12:55

(提出的算法)PRRW：核心思想是利用连接两个实体的路径去预测他们之间是否有潜在的关系。

定义

• An Entity-Relation graph $G=(T,E,R)$, is
  
  • a set of entities types $\mathbf T=\{T\}$
  • a set of entities $\mathbf E=\{e\}$, Each entity is typed with $T\in \mathbf T$
  • a set of relations $\mathbf R=\{R\}$
• input：查询节点(query nodes)和指定返回的类型(answer type)。
• output：返回指定类型下，排好序(ordered by proximity to the query nodes)的节点。
• $R$：是二元关系，$R(e,e')$ 表示实体$e$ 和$e'$ 之间存在关系$R$。
• $R(e)\equiv \{e':R(e,e')\}$，即和$e$存在关系$R$的所有实体集合。
• $dom(R)$ ：关系$R$ 的值域。
• $range(R)$：关系$R$ 的排名。
• $P$：查询下给出的关系路径，$P=\{R_1R_2...R_l\}$，约束是
  $\forall i:1\lt i\lt \mathcal l-1，range(R_i)=dom(R_{i+1})$,定义$dom(R_1)=dom(P)$，$range(R_l)=range(P)$。

则对于路径$P=\{R_1R_2...R_l\}$：

$$T_0 \xrightarrow{R_1}...\xrightarrow{R_l}...T_l$$
有 $T_0=dom(R_1)=dom(P)$， $T_1=range(R_1)=dom(R_2)$ 等。

• Path Constrained Random Walk

  • Given a query $q=(E_q,T_q)$
  • Recursively define a distribution for each path：
    

• $P$是empty path：
  

  $$h_{s,P}(e)=\begin{cases} 1, & \text{ if e=s }\\ 0, & \text{otherwise} \end{cases} \tag{1}$$

• $P$是nonempty：
  

  $$h_{s,P(e)}=\sum_{e^{'}\in range(P^{'})}h_{s,P^{'}(e^{'})} \cdot P(e\vert e^{'};R_{\mathcal l}) \tag{2}$$
  这里的$P(e\vert e^{'};R_{\mathcal l})=\frac{R_{\mathcal l}(e^{'},e)}{\vert R_{\mathcal l}(e^{'},\cdot)\vert}$ 是给定$R_{\mathcal l}$ 和$e^{'}$ ，一步随机游走到$e$的概率。
  1. 这里的$s$是查询的节点，$e$是返回的最终节点。

• 路径特征(path feature)：把查询到的$s$ 与$e$ 之间的各个路径$P_1,...,P_n$ ,即 $h_{s,P_i}(e)$ 都作为特征,整个查询的得分是：
  

  $$\text{score}(e;s)=\sum_{P\in \mathbf P_{\mathcal l}}h_{s,P(e)}\theta_P \tag{3}$$
  这里的 $\mathbf P_{\mathcal l}$ 是长度小于$l$的关系路径集合。

  1. 给出关系集合 $R$ 和节点对集合 $\{(s_i,t_i)\}$ ，构造训练集 $D=\{ (x_i, r_i)\}$ ;
     其中 $x_i$ 是 $(s_i, t_i)$ (查询节点，返回终点)的全部路径和一起的向量，比如$x_i$的第$j$ 个标量是 $h_{s_i,P_j}(t_i)$ ,$r_i$ 表示关系 $R(s_i,t_i)$ 是否为真。

  2. 目标函数：
     

     $$\mathcal O(\theta) = \sum_io_i(\theta)-\lambda\vert\theta\vert_1 -\lambda_2\vert\theta\vert_2, \tag{4}$$

$$o_i(\theta) = w_i\left[ r_i \ln p_i +(1-y_i)In(1- p_i)\right] \tag{5}$$

这里的$p_i$ 是预测相关性：

$$p(r_i = 1 \vert x_i;\theta)=\frac{\exp (\theta^T x_i)}{1 + \exp (\theta^T x_i)}\tag{6}$$

$w_i$ 衡量每个样本的重要性程度。

• 待补充：Low-Variance Sampling(LVS)，附加查询限制条件，只为保证只有小部分负样本被用在目标函数的优化中。原因是KB中的关系类型很多，即时限制路径长度，得到的关系路径还是巨大且无用。

实践

在已有知识库如NELL上做预测，48条关系，对每个关系做给定$x$预测$y$，正反预测共96个任务，训练集是
$$ each \ node \ x \ has \ relation\ R_i\ in \ KB \xrightarrow{R_i}any\ node \ y \$$
* $y$是正样本：如果$y$在KB中已经满足$R(x,y)$,
* $y$是负样本：不在上面都是负样本。

实验

结论

参考

http://www.cbdio.com/BigData/2016-08/30/content_5224578.htm
https://wenku.baidu.com/view/ddca21030166f5335a8102d276a20029bd64636e.html
《Relational retrieval using a combination of path-constrained random walks》
《Random Walk Inference and Learning in A Large Scale Knowledge Base》