谱图（Spectral Graph Theory）理解（2）

参考文章：Introduction to Spectral Graph Theory and Graph Clustering
作者：Chengming Jiang，ECS 231 Spring 2016 University of California, Davis
本文的目的是进行计算机图像分割：

图1 图像分割

一、预备知识

关于图（G）、度矩阵（D）、邻接矩阵（A）皆在上一篇理解中交代过，现补充一些新的定义：
1、权重矩阵
A weighted graph is a pair G=(V,W) where

• V = { v i } V=\{v_i\} V={vi​} is a set of vertices and $|V|=n$;
• $W\in {\mathbb{R}}^{n\times n}$ is called weight matrix with
  $$w_{ij}=\{\begin{array}{ll}{w}_{ij}\ge 0& \text{if i̸=j}\\ 0& \text{i=j}\end{array}$$
  W是权重矩阵，V是顶点，它们构成对G=(V,W)，即是权重图G。
  The underlying graph of G is $\hat{G}=(V,E)$ with
  E = { { v i , v j } ∣ w i j > 0 } E=\{\{v_i,v_j\}\vert w_{ij}\gt 0\} E={{vi​,vj​}∣wij​>0}
• If w i j ∈ { 0 , 1 } , W = A w_{ij}\in\{0,1\},W=A wij​∈{0,1},W=A, the adjacency matrix of $\hat{G}$
• Since $w_{ii}=0$, there is no self-loops in $\hat{G}$
  W是对A的一个扩展，当 w i j ∈ { 0 , 1 } w_{ij}\in\{0,1\} wij​∈{0,1}，W即是A。定义W后，需要重新定义顶点的度（degree of a vertex）和度矩阵（degree matrix）：
  $$d(v_i)=\sum _{j=1}^n{w}_{ij}\text{degree of vi}$$
  $$\begin{gathered} \text{Let d(vi)=di} \\ D=D(G)=diag(d(v_1),\cdots ,d(v_n))=diag(d_1,\cdots ,d_n) \end{gathered}$$
  2、A的体积（Volume）
  对于V的一个子集A（$A\subseteq V$），定义A的体积（Volume）：
  $$vol(A)=\sum _{v_i\in A}d(v_i)=\sum _{v_i\in A}\sum _{j=1}^n{w}_{ij}$$
  即A中所有顶点的度和，若A中所有顶点都是孤立的（isolated），则vol(A)=0，举例如下：
  
  图2 vol(A)的计算方法
  3、顶点集间的连接（links）
  Given two subsets of vertices $A,B\subseteq V$, we define the links $links(A,B)$ by
  $links(A,B)={\sum }_{v_i\in A,v_j\in B}{w}_{ij}$
  Remarks:
  • A and B are not necessarily distinct;
  • Since W is symmetric, $links(A,B)=links(B,A)$
  • $vol(A)=links(A,V)$
    有了连接（links）定义，就可以定义分割（cut），它的定义如下：
    $cut(A)=links(A,V-A)$
    在连接（links）基础上，还可以定义一个量assoc，如下：
    $assoc(A)=links(A,A)$
    即A中顶点自己的连接。cut是A和外部的links，assoc是A与内部的links。因此有：$cut(A)+assoc(A)=vol(A)$
    4、Graph Laplacian
    对于权重图 G=(V,W)，the (graph) Laplacian L of G is defined by
    $L=D-W$
    Laplacian具有以下的属性：
  • $x^{T}Lx=\frac{1}{2}{\sum }_{i,j=1}^n{w}_{ij}(x_i-x_j{)}^2$ for $\forall x\in {\mathbb{R}}^n$，这是一个二次型
  • $L\ge 0$ if $w_{ij}\ge 0$ for all i,j;
  • $L\cdot 1=0$
  • If the underlying graph of G is connected, then
    $0={\lambda }_1\le {\lambda }_2\le {\lambda }_3\cdots \le {\lambda }_n$
  • If the underlying graph of G is connected, then the dimension of the nullspace of L is 1.

图的聚类（Graph clustering）

1、k-way partitioning
给定一个权重图 G=(V,W)，要找到一个对V的分割，使以下条件得到满足：

• $A_1\cup A_2\cdots \cup A_k=V$
• $A_1\cap A_2\cdots \cap A_k=\varnothing$
• for any i and j, the edges between $(A_i,A_j)$ have low weight and the edges within $A_i$ have high weight.
  要使分割后各子集之间的edges的权重最小，对于2-way分割有：
  $$cut(A)=links(A,\bar{A})=\sum _{v_i\in A,v_j\in \bar{A}}{w}_{ij}$$, where $\bar{A}=V-A$
  分割问题转化成了优化问题：$$\min cut(A)=\min \sum _{v_i\in A,v_j\in \bar{A}}{w}_{ij}$$
  
  图3 通常最小化分割会得到不平衡的分割
  通常最小化分割会得到不平衡的分割，因而引入“Normalized cut”，定义如下：
  $$Ncut(A)=\frac{cut(A)}{vol(A)}+\frac{cut(\bar{A})}{vol(\bar{A})}$$
  对图3采用归一化分割会得到：
  
  图4 采用Normailized cut
  定义一个示性矢量（indicator vector）$\mathbf{x}=(x_1,x_2,\cdots ,x_n)$，有：
  $$x_i=\{\begin{array}{ll}1& \text{if vi∈A}\\ -1& \text{if vi∈Aˉ}\end{array}$$
  则有：
  • $(1+x{)}^{T}D(1+x)=4{\sum }_{v_i\in A}{d}_i=4\cdot vol(A)$
  • $(1+x{)}^{T}W(1+x)=4{\sum }_{v_i\in A,v_j\in A}{w}_{ij}=4\cdot assoc(A)$
  • $(1+x{)}^{T}L(1+x)=4\cdot (vol(A)-assoc(A))=4\cdot cut(A)$
    以下是处理（1-x）与上对应
  • $(1-x{)}^{T}D(1-x)=4{\sum }_{v_i\in \bar{A}}{d}_i=4\cdot vol(\bar{A})$
  • $(1-x{)}^{T}W(1-x)=4{\sum }_{v_i\in \bar{A},v_j\in \bar{A}}{w}_{ij}=4\cdot assoc(\bar{A})$
  • $(1-x{)}^{T}L(1-x)=4\cdot (vol(\bar{A})-assoc(\bar{A}))=4\cdot cut(\bar{A})$
    于是Ncut(A) 可以被写成(公式的书写太繁琐了，我直接贴了过来)：
    
    
    
    要求解这个最优问题，需引入变分原则（Variational principle）:关于这部分的解释详细可以参考：https://ccjou.wordpress.com/2010/03/16/hermitian-矩陣特徵值的變化界定/
    
    
    对于上述Variational Principle，应用于(2)有：(因为D是对角矩阵)
    $$\begin{gathered} \frac{y^{T}Ly}{y^{T}Dy}=\frac{y^{T}Ly}{y^T{D}^{\frac{1}{2}}{D}^{\frac{1}{2}}y}=\frac{y^T{D}^{\frac{1}{2}}{D}^{-\frac{1}{2}}L{D}^{\frac{1}{2}}{D}^{-\frac{1}{2}}y}{(D^{\frac{1}{2}}y{)}^T{D}^{\frac{1}{2}}y} \\ \text{Let z=D21y, so } \\ \frac{y^{T}Ly}{y^{T}Dy}=\frac{z^T{D}^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}z}{z^{T}z} \end{gathered}$$
    即求 $D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}$ 的第二小的特征值，以及该特征值对应的特征矢量，每个特征矢量对应一个分割。
    《Normalized cuts and image segmentation》的例子：
    
    图5 原图
    将原图看成是graph，并定义权重：
    
    
    图6 权重图G=(V,W)
    求Normailized cut 的第二个特征矢量，及对应分割：