社会网络挖掘

大规模图的分析–社区探测

社区网络存在于现实世界中的各行各业，例如：

1. 电话网络 。结点代表电话，边的权重由两个结点间的电话数量决定。社区可以是朋友之间形成的，也可以是在同一个公司；
2. 邮件网络。结点代表邮件地址，双向均有邮件沟通，可以看作是存在边，社区可以按照前面提及的电话网络来看；
3. 合作网络。结点代表作者，边表示作者之间有合作发表过论文。社区是专注于某一特定课题的作者的集合。社区是专注于某一特定课题的作者的集合。也可以将结点看作文章，边看作是文章之间有共同作者。
   下图，给出了某社交网络，可以看出有不同的圈子（此处也可以叫做社区）：高中同学、大学同学、家庭成员等等

Girvan-Newman

在提出Girvan-Newman算法之前，先引入边阶数（Edge betweenness：Number of shortest paths passing over the edge）：通过该边的所有路径中，并且该路径是点与点之间的最短路径，最短路径的数量。下图给出了中间边的介数是16，因为$4\ast 4=16$，左边4个结点和右边4个结点两两之间可以形成一条边。

算法流程

1. 计算每条边的边介数；
2. 移除所有边中介数最大的边；
3. 重新计算每条边的介数；
4. 重复2-3，直到没有边剩下。

下图给出了某个样例的大致分割流程。

Girvan-Newman算法的流程和聚类算法中的层次聚类比较类似，现在的问题有两个

1. 计算每条边的边介数；
2. 如何选择分割的社区数量；

边介数（betweenness）的计算

边介数的计算过程

1. 对该图的每一个结点采取BFS搜索策略
2. 自顶向下，计算该节点到其他结点的最短路径的数量
3. 自下而上，计算每条边的介数
4. 重复2-3，直到所有结点均已被作为起始结点
5. 将最后所求得的每条边的介数除以2
   
   
   此图中，从A结点到B结点的最短路径只有1条，同理A结点到C结点的最短路径也是1条，F结点从B、C结点均可到达，故从A结点到F结点的最短路径的数量是2条。
   
   计算每条边的介数，从下而上进行，计算的规则为：$$当前结点的value=1+chil{d}_{e}dge的值$$
   某个结点往上走有多条边，其边的value分配的比例于其所要达到的顶点的值成比例。例如，对于K结点，其value为1，根据I、J值均为3，故将1等分为2份，均为0.5

模块度（Modularity）

为了衡量社区划分的好坏，引入模块度这个概念来评估，具体可以参见维基百科链接Modularity.
$$Q\left(G,S\right)=\frac{1}{2m}\sum _{s\in S}\sum _{i\in s}\sum _{j\in s}\left(A_{ij}-\frac{k_i{k}_j}{2m}\right)$$
其中，$S$是将图$G$分割后形成的社区的集合；
$A_{ij}$表示结点$i$与结点$j$是否相连，若相连，则$A_{ij}=1$，否则$A_{ij}=0$;
$k_i$表示结点$i$的度；
$\frac{k_i{k}_j}{2m}$表示结点$i$与结点$j$随机随机连接产生的边的数目；
$\left(A_{ij}-\frac{k_i{k}_j}{2m}\right)$：(# edges within group s) – (expected # edges within group s)

谱聚类(Spectral Clustering)

图的划分（Graph Partitioning）

对图进行划分应该达到以下两个效果。

1. 子图之间边的数目尽可能少（Minimize the number of between-group connections）；
2. 子图内部边的数目尽可能多（Maximize the number of within-group connections）；

$$ncut\left(A,B\right)=\frac{cut\left(A,B\right)}{vol\left(A\right)}+\frac{cut\left(A,B\right)}{vol\left(B\right)}$$
其中，$cut\left(A,B\right)$表示子图$A$与子图$B$之间的割边的数目；
Cut: Set of edges with only one vertex in a group；
$vol\left(A\right)$：total weight of the edges with at least one endpoint in $A$；
$vol\left(A\right)={\sum }_{i\in A}{k}_i$；

谱图分割（Spectral Graph Partitioning）

$$Ax=\lambda x$$
其中，$A$为图$G$的邻接矩阵
注意：上述表达式可以理解为对图$G$中的$n$个点进行数据降维，用一个特征向量$x$来描述这张图。
在特征向量$x$及其相对应的特征值$\lambda$中，令特征向量$x$的所有子项中，绝对值最大的项为第$t$项，并且假设第$t$项为正数（若第$t$项不是正数，就将特征向量$x$变为$-x$来处理）。
Proof:
λ x t = ( A x ) t = ∑ y = 1