论文解读第三代GCN《 Deep Embedding for CUnsupervisedlustering Analysis》

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

Paper Information

Titlel：《Semi-Supervised Classification with Graph Convolutional Networks》Authors：Thomas Kipf, M. WellingSource：2016, ICLRPaper：Download Code：Download

---

致敬  Thomas Kipf

我原以为将  GCN 发扬光大的人应该是一位老先生，毕竟能将一个理论影响全世界的人必应该有很多的知识储备（主观直觉），然后我发现自己大错特错，没想到将 GCN 发扬光大的是 Thomas Kipf  ，一位20年毕业的博士生，来自同龄人的压迫…

这里奉上其博士论文《Deep learning with graph-structured representations》 。

其个人主页：Thomas Kipf

总结：没有对比没有伤害，希望自己有朝一日也可以…hhh

本文主要是：基础+二代GCN+三代GCN

---

0 Knowledge review

0.1 卷积

卷积的定义：(f∗g)(t)(f∗g)(t) 为 f∗gf ∗ g 的卷积

连续形式：

(f∗g)(t)=∫Rf(x)g(t−x)dx(f * g)(t)=\int_{R} f(x) g(t-x) d x

离散形式：

(f∗g)(t)=∑Rf(x)g(t−x)(f * g)(t)=\sum\limits _{R} f(x) g(t-x)

0.2 傅里叶变换

核心：将函数用一组正交基函数的线性组合表述出来。

Fourier 变换：

F{f}(v)=∫Rf(x)e−2πix⋅vdxF{f}(v)=\int_{R} f(x) e^{-2 \pi i x \cdot v} d x

Where

e−2πix⋅ve^{-2 \pi i x \cdot v}  为傅里叶变换基函数，且为拉普拉斯算子的特征函数 。

Fourier 逆变换：

F−1{f}(x)=∫Rf(x)e2πix⋅vdvF^{-1}{f}(x)=\int_{R} f(x) e^{2 \pi i x \cdot v} d v

0.3 傅里叶变换和卷积的关系

定义 hh 是 ff 和 gg 的卷积，则有

F{f∗g}(v)=F{h}(v)=∫Rh(x)e−i2πvxdx=∫R∫Rf(τ)g(x−τ)e−i2πvxdτdx=∫R∫R[f(τ)e−i2πvτdτ][g(x−τ)e−i2πv(x−τ)dx]=∫R[f(τ)e−i2πvτdτ]∫R[g(x′)e−i2πvx′dx′]=F{f}(v)F{g}(v)\begin{aligned}\mathcal{F}{f * g}(v)&=\mathcal{F}{h}(v)\&=\int_{R} h(x) e^{-i 2 \pi v x} d x \&=\int_{R} \int_{R} f(\tau) g(x-\tau) e^{-i 2 \pi v x} d \tau d x \&=\int_{R} \int_{R}\left[f(\tau) e^{-i 2 \pi v \tau} d \tau\right]    \left[g(x-\tau) e^{-i 2 \pi v(x-\tau)} d x\right] \&=\int_{R}\left[f(\tau) e^{-i 2 \pi v \tau} d \tau\right] \int_{R}\left[g\left(x^{\prime}\right) e^{-i 2 \pi v x^{\prime}} d x^{\prime}\right]\&=\mathcal{F}{f }(v)\mathcal{F}{g }(v)\end{aligned}

对上式左右两边做逆变换  F−1F^{-1} ，得到

f∗g=F−1{F{f}⋅F{g}}f * g=\mathcal{F}^{-1}{\mathcal{F}{f} \cdot \mathcal{F}{g}}

0.4 拉普拉斯算子

定义：欧几里德空间中的一个二阶微分算子，定义为梯度的**散度。**可以写作 Δ\Delta, ∇2\nabla^{2}, ∇⋅∇\nabla \cdot \nabla  这几种形式。

例子：一维空间形式

Δf(x)=∂2f∂x2=f′′(x)≈f′(x)−f′(x−1)≈[f(x+1)−f(x)]−[f(x)−f(x−1)]=f(x+1)+f(x−1)−2f(x)\begin{aligned}\Delta f(x) &=\frac{\partial^{2} f}{\partial x^{2}} \&=f^{\prime \prime}(x) \& \approx f^{{\prime}(x)-f}{\prime}(x-1) \& \approx[f(x+1)-f(x)]-[f(x)-f(x-1)] \&=f(x+1)+f(x-1)-2 f(x)\end{aligned}

即：拉普拉斯算子是所有自由度上进行微小变化后所获得的增益。

0.5 拉普拉斯矩阵

所有节点经过微小扰动产生的信息增益：

△f=(D−W)f=Lf\begin{array}{l}\bigtriangleup f &= (D-W) f \&=L f\end{array}

类比到图上，拉普拉斯算子可由拉普拉斯矩阵 LL 代替。

Where

LL is Graph Laplacian.

0.6 拉普拉斯矩阵谱分解

Lμk=λkμkL \mu_{k}=\lambda_{k} \mu_{k}

由于 LL  拉普拉斯矩阵是 实对称矩阵，所以

L=UΛU−1=UΛUTL=U \Lambda U^{-1}=U \Lambda U^{T}

Where

• • Λ\Lambda  为特征值构成的对角矩阵;
    • UU 为特征向量构成的正交矩阵。

0.7 图傅里叶变换

让拉普拉斯算子 △\bigtriangleup  作用到傅里叶变换的基函数上，则有:

Δe−2πix⋅v=∂2∂2ve−2πix⋅v=−(2πx)2e−2πix⋅v⇕Lμk=λkμk\begin{array}{c}\Delta e^{-2 \pi i x \cdot v}=\frac{\partial^{{2}}{\partial}{2} v} e^{-2 \pi i x \cdot v}=-{(2 \pi x)}^2 e^{-2 \pi i x \cdot v} \\Updownarrow \L \mu_{k}=\lambda_{k} \mu_{k}\end{array}

Where

• • 拉普拉斯算子 △\bigtriangleup     与 拉普拉斯矩阵  LL   “等价”  。（两者均是信息增益度）
    • 正交基函数 e−2πix⋅ve^{-2 \pi i x \cdot v} 与 拉普拉斯矩阵的 正交特征向量  μk\mu_{k}  等价。
    • 根据亥姆霍兹方程 △f=∇2f=−k2f\bigtriangleup f= \nabla^{2} f=-k^{2} f ，−(2πx)2-(2 \pi x)^{2} 与  λk\lambda_{k}  等价。

对比傅里叶变换：

F{f}(v)=∫Rf(x)e−2πix⋅vdxF{f}(v)=\int_{R} f(x) e^{-2 \pi i x \cdot v} d x

可以近似得图傅里叶变换：

F{f}(λl)=F(λl)=n∑i=1u∗l(i)f(i)F{f}\left(\lambda_{l}\right)=F\left(\lambda_{l}\right)=\sum \limits _{i=1}^{n} u_{l}^{*}(i) f(i)

Where

• • λl\lambda_{l} 表示第  ll  个特征；
    • nn 表示 graph 上顶点个数；
    • f(i)f(i)  顶点 ii 上的函数。

Another thing：对于所有节点

• • 值向量

f=[f(0)f(1)⋯f(n−1)]f=\left[\begin{array}{c}f(0) \f(1) \\cdots \f(n-1)\end{array}\right]

• • nn 个特征向量组成的矩阵

UT=[→u0→u1⋯un−1]=[u00u10⋯un−10u01u11⋯un−11⋯⋯⋯⋯u0n−1u1n−1⋯un−1n−1]U^{T}=\left[\begin{array}{c}\overrightarrow{u_{0}} \\overrightarrow{u_{1}} \\cdots \u_{n-1}\end{array}\right]=\left[\begin{array}{cccc}u_{0}^{0} & u_{0}^{1} & \cdots & u_{0}^{n-1} \u_{1}^{0} & u_{1}^{1} & \cdots & u_{1}^{n-1} \\cdots & \cdots & \cdots & \cdots \u_{n-1}^{0} & u_{n-1}^{1} & \cdots & u_{n-1}^{n-1}\end{array}\right]

其中 →u0\overrightarrow{u_{0}} 为特征值为 λ0\lambda_{0} 对应的特征向量， →u1\overrightarrow{u_{1}} 、 →u2\overrightarrow{u_{2}} 、 …\ldots 类似

• • 图上傅里叶变换矩阵形式如下：

F(λ)=[ˆf(λ0)ˆf(λ1)⋯ˆf(λn−1)]=[u00u10⋯un−10u01u11⋯un−11⋯⋯⋯⋯u0n−1u1n−1⋯un−1n−1]⋅[f(0)f(1)⋯f(n−1)]F(\lambda)=\left[\begin{array}{c}\hat{f}\left(\lambda_{0}\right) \\hat{f}\left(\lambda_{1}\right) \\cdots \\hat{f}\left(\lambda_{n-1}\right)\end{array}\right]=\left[\begin{array}{cccc}u_{0}^{0} & u_{0}^{1} & \cdots & u_{0}^{n-1} \u_{1}^{0} & u_{1}^{1} & \cdots & u_{1}^{n-1} \\cdots & \cdots & \cdots & \cdots \u_{n-1}^{0} & u_{n-1}^{1} & \cdots & u_{n-1}^{n-1}\end{array}\right] \cdot\left[\begin{array}{c}f(0) \f(1) \\cdots \f(n-1)\end{array}\right]

常见的傅里叶变换形式为：（下面推导要用）

ˆf=UTf\hat{f}=U^{T} f

ff 在图上的逆傅里叶变换：

f=Uˆff=U \hat{f}

下面叙述正文~~~~~

---

Abstract

Our convolutional architecture via a localized first-order approximation of spectral graph convolutions.

1 Introduction

• Target：classfy node in graph.
• Our methods：a graph-based semi-supervised method.
• Type of loss function:  graph-based regularization. Function as following:

L=L0+λLreg  with Lreg =∑i,jAij‖f(Xi)−f(Xj)‖2=f(X)⊤Δf(X)\begin {array}{l}\mathcal{L}=\mathcal{L}_{0}+\lambda \mathcal{L}