Discrete regularity for graph Laplacians --Jeff Calder 读书笔记 part1 待更

Discrete regularity for graph Laplacians --Jeff Calder
pdf和视频资源：http://www.ipam.ucla.edu/abstract/?tid=15794&pcode=HJWS4

Introduction

1. graph-based learning. 目的基本都是做clustering或者半监督的clustering。
   geometric weights $w_{xy}=\eta \left(\frac{|x-y|}{\epsilon }\right)$
2. spectral clustering.
   – 最简单的 graph cuts: ${\min }_{A\subset \chi }\text{Cut}(A):={\sum }_{x,y\in \chi ;x\in A,y\notin A}{w}_{xy}$. 问题：使$A=x$ -> unbalanced
   – balanced cut: ${\min }_{A\subset \chi }\frac{\text{Cut}(A)}{\text{Vol}(A)\text{Vol}(\chi \setminus A)}$，其中$\text{Vol}(A)={\sum }_{x\in A}{\sum }_{y\in \chi }{w}_{xy}$。问题：NP难
   – spectral clustering:
   设 $u(x)=1$，若$x\in A$，否则为0。有
   $$\text{Cut}(A)=\sum _{x,y\in \chi ;x\in A,y\notin A}{w}_{xy}=\frac{1}{2}\sum _{x,y\in \chi }{w}_{xy}(u(x)-u(y){)}^2$$ 且 $\text{Vol}(A)={\sum }_{x,y\in \chi }{w}_{xy}u(x)$。此时，balanced cut可变为
   min ⁡ u : χ → { 0 , 1 } ∑ x , y ∈ χ w x y ( u ( x ) − u ( y ) ) 2 ∑ x , y , x ′ , y ′ ∈ χ u ( x ) w x y ( 1 − u ( y ′ ) ) w x ′ y ′ \min_{u:\chi \rightarrow \{0,1\}} \dfrac{\sum_{x,y \in \chi} w_{xy}(u(x)-u(y))^2}{\sum_{x,y,x',y' \in \chi} u(x)w_{xy} (1-u(y'))w_{x'y'}} u:χ→{0,1}min​∑x,y,x′,y′∈χ​u(x)wxy​(1−u(y′))wx′y′​∑x,y∈χ​wxy​(u(x)−u(y))2​ $$\underset{u:\chi \to R,{\sum }_{x\in \chi }u(x)\ne 0}{\min }\frac{{\sum }_{x,y\in \chi }{w}_{xy}(u(x)-u(y){)}^2}{{\sum }_{x\in \chi }u(x{)}^2}$$ 第二个是第一个的relaxed problem，其解为拉普拉斯图的最小非平凡特征向量（Fiedler向量）。
   分成 $k$ 组聚类，去拉普拉斯前 $k$ 个特征向量：$u_1,...,u_k:\chi \to \mathbb{R}$。定义spectral embedding $\Psi :\chi \to {\mathbb{R}}^k$，有$\Psi (x)=(u_1(x),...,u_k(x))$。
3. the manifold assumption
   – 先简单了解下流形，见链接https://www.zhihu.com/question/24015486
   – 设 $\mathcal{M}\subset {\mathbb{R}}^d$ 为compact, connected, orientable, smooth的$m$维流形。$d_{\mathcal{M}}(x,y)$：the geodesic distance between $x,y\in \mathcal{M}$。定义一个球 B M ( x , r ) = { y ∈ M : d M ( x , y ) < r } B_{\mathcal{M}}(x,r)=\{y \in \mathcal{M}: d_{\mathcal{M}}(x,y)<r\} BM​(x,r)={y∈M:dM​(x,y)<r}.
   密度 $\rho \in C^2(\mathcal{M})$，$\rho >0$。令 χ n = { x 1 , . . . , x n } \chi_n=\{x_1,...,x_n\} χn​={x1​,...,xn​}为 $\rho d{\text{Vol}}_{\mathcal{M}}$的一个独立同分布。
   – 随机几何图 random geometric graph，权重为 $w_{xy}=\eta \left(\frac{|x-y|}{\epsilon }\right)$，其中 $$\eta (t)=0\text{, for }t>1,{\int }_{{\mathbb{R}}^m}\eta (|w|)dw=1$$ 第二个条件为Lipschitz。
   – spectral convergence. 图-拉普拉斯算子的谱收敛（$n\to \infty ,\epsilon \to 0$）到加权Laplace-Beltrami算子的谱，即 $${\Delta }_{\mathcal{M}}u=-{\rho }^{-1}{\text{div}}_{\mathcal{M}}({\rho }^2{▽}_{\mathcal{M}}u)$$