Random walk算法及其各种延伸、应用笔记

Random Walk

随机过程中定义的随机游走是每过一个单位时间，游走点固定向左或向右移动一个单位

推广到多维，一般情况下是：
对于点$x_0\in R^N$,每个单位时间内：

1. 随机生成一个n维向量$u$
2. 将其标准化为$u^{\prime }=\frac{u}{\sqrt{{\sum }_{i=1}^n{u}_i^2}}$
3. 以可变步长$\lambda$为幅度进行一次随机游动，即$x_1=x_0+\lambda u^{\prime }$

对于图结构的数据，random walk是指，在一张图的任意一个顶点：

• 遍历者以概率1-a游走到这个定点的邻居
• 遍历者以a的概率跳跃到途中的任意一个顶点

这样的游走会以频率的方式体现出graph中每一个顶点被访问到的概率。

Random walk with start（RWR）

随机游走算法可以利用于检测整个图的概率分布，而RWR算法以及它的各种变体:

• 在CV研究中适用于图像分割
• 在graph结构中则适用于基于图结构中的一个base node，构建出它的邻居节点的分布情况。这一算法广泛应用于图结构的数据采样。

它的基本思想是：

• 从一个或一系列base node开始遍历一张图
• 在任意一个节点以1-a的概率移动到一个随机选择的邻点，以a概率跳回起点

RWR的实现

基于经典文章：Fast RandomWalk with Restart and Its Applications

符号定义：

数学表达

Input: The normalized weighted matrix $\tilde{W}$ and the starting vector $\overrightarrow{e_i}$
Output: The ranking vector $\overrightarrow{r_i}$

对于从指定位置（$\overrightarrow{e_i}$）出发期望的遍历点位置$\overrightarrow{r_i}$，它的值表示为：
$\overrightarrow{r_i}=c\tilde{W}\overrightarrow{r_i}+(1-c)\overrightarrow{e_i}$ （1）

从中可以计算出
$$\begin{gathered} \overrightarrow{r_i}=(1-c)(1-c\tilde{W}{)}^{-1}\overrightarrow{e_i} \\ =(1-c)Q^{-1}\overrightarrow{e_i} \end{gathered}$$
可以看出在实际图含义上它是随机游动的，但是$\overrightarrow{r_i}$是数值累计的。

classic实现

• OnTheFly
  最基础的方法是按照（1）式递归收敛求解（条件一般是是$\overrightarrow{r_i}$的L2范数的变化小于一定阈值${\xi }_1$或指达到了指定的迭代次数m）。它被称为OnTheFly方法。这种方法在数据库较大时比较耗时。
  优化点：$\overrightarrow{r_i}$的分布存在局部性（这体现出了graph中节点的community性），所以只对存在了节点i的图的parition（注意，这个分割并不一定意味着完全不连通，只不过是距离较远参考意义很小）进行计算，其他的$r_{ij}$显然可以直接置0.
• PreCompute
  预先计算出$Q^{-1}$,这种方法在数据库较大时比较耗空间。
  优化点：可以通过低秩近似来快速计算$Q^{-1}$

RWR的快速实现

通过节点的locality，以及图的线性相关性，可以使用近似算法快速计算RWR。

Off-line流程

0. 使用拉普拉斯正则化计算出$\tilde{W}$
1. 使用诸如METIS软件包等方法将图分割成k个partition（METIS简单实用可见https://metis.readthedocs.io/en/latest/）
2. 将$\tilde{W}$基于分割结果分为$\tilde{W}=\widetilde{W_1}+\widetilde{W_2}$。其中$\widetilde{W_1}$包含全部partition内部的权重矩阵，$\widetilde{W_2}$包含全部partition外部的权重矩阵，显然这二者交集为空。
3. 按照partition序列将$\widetilde{W_1}$做成如下表示：
4. 通过上述分解出的$\widetilde{W_1}$，计算$Q_{1,i}^{-1}$:
   $Q_{1,i}^{-1}=(1-c\widetilde{W_{1,i}}{)}^{-1}$
5. 将Q与W值按同样的方式进行排列，得到$Q_1^{-1}$：
6. 对$\widetilde{W_2}$部分，做低秩近似：
   $\widetilde{W_2}=USV$（这里似乎可以另开一个线程去做）
7. 计算parition间项$\tilde{\Lambda }$:
   $\tilde{\Lambda }=(S^{-1}-cV{Q}_1^{-1}U{)}^{-1}$

On-line查询流程

根据off-line计算的结果，直接计算$\overrightarrow{r_i}$：
$\overrightarrow{r_i}=(1-c)(Q_1^{-1}\overrightarrow{e_i}+c{Q}_1^{-1}U\tilde{\Lambda }V{Q}_1^{-1}\overrightarrow{e_i})$

$\tilde{\Lambda }$的含义

这里实际上是利用舍曼-莫里森公式求解矩阵逆运算的一种方式：

https://zhuanlan.zhihu.com/p/44607246

！！！简化后的快速实现

在上述实现中，如果k=n，也即每个节点都分一个partition，那么显然$\widetilde{W_1}=0，\widetilde{W_2}=\tilde{W}$,并且因此$Q_1=I$，这样可以对上述实现进行简化：

off-line部分

0. 使用拉普拉斯正则化计算出$\tilde{W}$
1. 直接对正则化后的权重矩阵进行低秩近似：
   $\tilde{W}=USV$
2. node间项：$\tilde{\Lambda }=(S^{-1}-cVU{)}^{-1}$

on-line部分

查询计算：$\overrightarrow{r_i}=(1-c)(\overrightarrow{e_i}+cU\tilde{\Lambda }V\overrightarrow{e_i})$

低秩近似的实现

1. 特征值分解

特征值分解适用于拉普拉斯正则化处理的邻接矩阵，对其他方式处理的邻接矩阵，可以使用SVD分解

简单的实现是对W进行特征值分解：
$$\begin{gathered} \widetilde{W_2}=US{U}^T \\ V=U^T \end{gathered}$$
这样的方法可以减少50%的空间消耗，但是特征分解比较耗时。

！！！2. 分区低秩近似

如果将$\widetilde{W_2}$纵分为t个partition，name计算低秩近似的方法为：

1. 构建$U\in R^{n\times t}$，其中$U_{ij}={\sum }_{k\in i^{th}partition}{W}_{ik}$，也即U的第i列是W第i个partition的列向量的和。
2. $S=(U^{T}U{)}^{-1}$
3. $V=U^T\widetilde{W_2}$