[PaperReading]*Computing communities in large networks using random walks

概述

文章通过对知识图谱结构的数学分析，结合相关工作，提出了一种针对大型图的community聚类算法。提出了图上两个community之间的距离定义，并根据定义提出了一种基于Random Walks的快速算法，提高了运算效率。

思路分析

对于community的定义是困难的，在不同的文章中有很多不同的定义，这样的模式是不利于对community分析总结工作的成果共享的。文中指出，大部分人对community的共识如下：
P = { C 1 , . . . . . . , C k } P = \{C_1, ......, C_k\} P={C1​,......,Ck​} 是图 $G=(V,E)$上的一个分割，即$(\forall i,C_i\subseteq V)$，当$C_i$中的边比$C_i$之间的边的比率大，那么这个community的分割就是好的。
通俗点说，一个community内的点相连的边看上去要比与其他community的点相连的边多很多。这篇文章集中于对于community内的边的稠密度，来进行community的聚类。注意到，Random Walks的性质，从graph中提取的walk序列总是倾向于在一个稠密连接的区域取值，仿佛是被困在一个区域，这个区域便对应一个community。因此文章利用一些Random Walks的特性，提出了不同图中节点的差异性大小的定义，和不同community之间的差异性定义，在文中称其为距离(distance)。期待利用distance区分不同的community。相对于之前对于community的聚类工作，本文中的工作不需要提供community的个数需求和大小需求，在图上实现自动的community划分。

Random Walks

文中对于Random Walks的思考停留在一阶，也即是当前walk节点的取值只与前一个节点取值有关，即产生的walk链具有马尔科夫性，是一条Markov Chain，每个state是图中的节点。文中只考虑了对于无权重的网络的分析，引入了无权重网络结构的邻接矩阵$A:A_{ij}=1如果ij之间有边连接，否则A_{ij}=0$，文中声称若是网络有权重，只需要将$A_{ij}$的值域从 A i j ∈ { 0 , 1 } A_{ij} \in \{0, 1\} Aij​∈{0,1}扩展为$A_{ij}\in {\mathbb{R}}^{+}$就可以了。
对于一个无权重的网络结构，可以有以下数学描述：
$度数矩阵D：\forall i,D_{ii}=d(i)and{D}_{ij}=0fori\ne j$;
$转移概率矩阵P=D^{-1}A，即P_{ij}=\frac{A_{ij}}{d(i)}$;
通过转移概率矩阵，我们可以算出从节点$i$到$j$经过$t$步的转移概率为$(P^t{)}_{ij}$，简记为$P_{ij}^t$。
文中提出了$P_{ij}^t$的两个特性，这里略去具体的证明过程，但是根据经验理解，也可以明白其具体的含义：
Property 1:
$$\forall i,\underset{t\to +\infty }{\lim }{P}_{ij}^t=\frac{d(j)}{{\sum }_{k}d(k)}$$
Property 2:
$$\forall i,\forall j,d(i)P_{ij}^t=d(j)P_{ji}^t$$
由Property 1我们可以看出，random walks的步长太长的话，最终转移概率只跟图上各个节点的度数有关，无法体现转移矩阵的意义了，但是步长太短又不足以获取足够的信息，因此需要控制$t$的大小。由Property 2我们可以知道最终$t$步转移矩阵的信息是有冗余的，这点可能会方便我们节省计算和空间。
节点$i$相关的信息都被存储在$P^t$的第$i$行，$(P_{ik}^t{)}_{1\le k\le n}$，简记为$P_{i\cdot }^t$。

节点距离

节点距离和community距离的定义

为了定义距离，文中提出了三点需要考虑的部分：

1. 如果节点$i$和节点$j$在同一个community中，那么$P_{ij}^t$的值当然是高的，但是这并不代表如果$P_{ij}^t$的值很高，节点$i$，$j$便会在同一个community中。
2. walker很容易走向度数高的节点，因此$P_{ij}^t$是受终止节点的度数d(j)影响的。
3. 属于同一个community的两个点看待其他点的视角应该是相近的，如果$i$，$j$是同一个community中的点，理论上存在$\forall k,P_{ik}^t\approx P_{jk}^t$。
   因此提出以下两个定义：
   Definition 1:
   $$r_{ij}=\sqrt{\sum _{k=1}^n\frac{(P_{ik}^t-P_{jk}^t{)}^2}{d(k)}}=||D^{-\frac{1}{2}}{P}_{i\cdot }^t-D^{-\frac{1}{2}}{P}_{j\cdot }^t||$$
   Definition 2:
   $$r_{C_1{C}_2}=||D^{-\frac{1}{2}}{P}_{C_1\cdot }^t-D^{-\frac{1}{2}}{P}_{C_2\cdot }^t||$$
   其中
   $$P_{C_j}^t=\sum _{i\in C}{P}_{ij}^t$$
   Definition 2和Definition 1的定义是连续的，把community缩减为一个点，那么两者是相等的，即 r i j = r { i } { j } r_{ij} = r_{\{i\}\{j\}} rij​=r{i}{j}​。
   为了表示距离的定义与图矩阵的光谱性质的对应，文章证明了以下结果：
   $$r_{ij}^2=\sum _{\alpha =2}^n{\lambda }_{\alpha }^{2t}(v_{\alpha }(i)-v_{\alpha }(j){)}^2$$
   具体证明过程在这里不陈述了。基本的思路就是利用矩阵的特征值以及左右特征向量进行化简和转化，最终得到期望的结论。
   这个结果表明，作者的方法与之前完成的community 聚类工作是有很大相关性的，新定义的距离模型，并不是独立于之前工作的，为本文的工作提供了立足点和参考依据。同时表明了，本文工作只需统计$P_{ij}^t$便可以达成之前需要对矩阵进行分解分析等复杂工作才能达到的目标。实现了数学方面的简化。

距离r的计算

通过对距离$r$的定义，可以发现只需计算出$P_{i\cdot }^t$和$P_{j\cdot }^t$，便能在$O(n)$时间内完成对$r_{ij}$的计算。对于$r_{C_i{C}_j}$也是一样。而$P^t$可以计算并存储在$O(n^2)$的空间中。对于$P_{i\cdot }^t$的计算，文章提出了两种做法：
精确计算：
$P_{i\cdot }$的计算直接一点就是$P$自乘$t$次，然后区第$i$行。因为在现实中的图是稀疏的，因此计算复杂度为$O(tm)$。（这里是我的理解，文中的$O(n)$初始化过程应该对应取指定行的过程）
近似计算：
计算$K$个以$i$为起点的长度为$t$的随机游走路径。那么可以近似的认为$P_{ik}^t\approx \frac{N_{ik}}{K}$，其中$N_{ik}$表示从节点$i$开始，以$k$为结束节点的路径的个数。时间花销为$K$个$t$步游走的时间$O(Kt)$，空间花销为$O(K)$，只需要记录终止节点就行。相对误差为$\frac{1}{\sqrt{K}}$。
近似计算只在超级大图上效果比较明显。

距离的概括抽象（数学抽象，可先跳过）

在精确计算中，可以看出，距离与矩阵$P$的关系很密切。如果我们对于距离定义的权中需求有变化，或者需要扩展距离的定义，那么如何处理，如何计算新的定义的结果呢？
文章提出了一个概括的距离定义：
$${\hat{r}}_{ij}^2=\sum _{\alpha =2}^n{f}^2({\lambda }_{\alpha })(v_{\alpha }(i)-v_{\alpha }(j){)}^2$$
其中
$$f(x)=\sum _{k=0}^{\infty }{c}_k{x}^k$$
所以有
$${\hat{r}}_{ij}=||D^{-\frac{1}{2}}{\hat{P}}_{i\cdot }-D^{-\frac{1}{2}}{\hat{P}}_{j\cdot }||$$
我们可以利用将多项式保留前$r$项的方式，近似地计算${\hat{P}}_{ij}\approx {\sum }_{k=0}^r{c}_k{P}_{i\cdot }^k$。这个计算可以在$O(rm)$时间内，占用$O(n)$的空间完成。
作者接下来举了个利用此抽象的例子，姑且在这里把他的例子记录下来了。
在我们的问题中，选择步长为$t$的随机游走，有时候会碰到一些限制，导致无法达成。为了解决这个问题，可以利用连续的随机游走过程，把每一步看成连续的一部分，即总体为$t$，每走一步当成微分$dt$。于是有每一步转移的概率为$P_{ij}dt$。可证明，经过$t$步从节点$i$到$j$的转移概率矩阵为$e^{t(P-Id)}$。于是有${\hat{r}}_{ij}^2={\sum }_{\alpha =2}^n{e}^{2t({\lambda }_{\alpha }-1)}(v_{\alpha }(i)-v_{\alpha }(i){)}^2$。
我们就能类比似的获得连续假设下的距离定义了。

算法设计

基本的算法遵循以下模块：

1. 初始化分割 P 1 = { { v } , v ∈ V } \mathcal{P}_1 = \{\{v\}, v \in V\} P1​={{v},v∈V}。
2. 通过计算，选择两个${\mathcal{P}}_k$中的两个community $C_1$，$C_2$；
3. 根据规则合并$C_1$，$C_2$形成$C_3$，创建新的分割 P k + 1 = ( P k \ { C 1 , C 2 } ) ⋃ { C 3 } \mathcal{P}_{k+1} = (\mathcal{P}_k \backslash \{C_1, C_2\}) \bigcup \{C_3\} Pk+1​=(Pk​\{C1​,C2​})⋃{C3​}；
4. 更新community之间的距离，实际上只需要计算相邻的community之间的距离就行；
5. 重复2， 3 ，4，直到 P n = { V } \mathcal{P_n} = \{V\} Pn​={V}；
   实际上，每一步得到的${\mathcal{P}}_k$可以看成是community的分层结构，类似树状的组织，叶子节点是每个vertex。
   目标是如何选择合并的两个community，如何快速的更新距离，以及如何评价分割结果的好坏，以挑选最好的${\mathcal{P}}_k$为算法最终的结果。

选择用以合并的community

结合之前已经完成的工作，本文采用最小化${\sigma }_k$的方式进行对于待合并community的选择。
$${\sigma }_k=\frac{1}{n}\sum _{C\in {\mathcal{P}}_k}\sum _{i\in C}{r}_{iC}^2$$
注意到很多合并前后的${\sigma }_k$的值有很多重复计算，因此计算最小增量$\Delta \sigma (C_1,C_2)$就可以判断合并$C_1$，$C_2$是否能达到最优${\sigma }_k$。
$$\Delta \sigma (C_1,C_2)=\frac{1}{n}(\sum _{i\in C_3}{r}_{i{C}_3}^2-\sum _{i\in C_1}{r}_{i{C}_1}^2-\sum _{i\in C_2}{r}_{i{C}_2}^2)$$

计算$\Delta \sigma$

为了快速计算，文中引用了两个定理：
Theorem 5
$$\Delta \sigma (C_1,C_2)=\frac{1}{n}\frac{|C_1||C_2|}{|C_1|+|C_2|}{r}_{C_1{C}_2}^2$$
上述定义表明，计算$\Delta \sigma$只需要更新community之间的距离就可以了，不需要点之间以及点和community的运算。
Theorem 6
$$\Delta \sigma (C_3,C)=\frac{(|C_1|+|C|)\Delta \sigma (C_1,C)+(|C_2|+|C|)\Delta \sigma (C_2,C)-(|C_1|+|C_2|)\Delta \sigma (C_1,C_2)}{|C_1|+|C_2|+|C|}$$
其中$C_1$，$C_2$合成$C_3$，$C$为$C_1$，$C_2$，$C_3$以外的community。
上述定理给出了常数时间内计算$\Delta \sigma$的方法，前提是已知$C_1$，$C_2$，$C$之间互相的$\Delta \sigma$的值。
由以上两个定理，我们发现，只需要更新community之间的距离$r$，便可以快速求$\Delta \sigma$。还可以利用已知信息，在特殊情况下常数时间内求出新的$\Delta \sigma$。计算量上大大简化。

${\mathcal{P}}_k$的评价指标

文章提出了不同的指标，最为了与已有的成果进行比较，采用了比较通用的$modularityQ$：
$$Q(\mathcal{P})=\sum _{C\in \mathcal{P}}{e}_C-a_C^2$$
其中：$e_C$是community $C$内部的边的数目比例，$a_C$是连接community $C$的边的数目比例。