论文笔记：The Emerging Field of Signal Processing on Graphs

Intro

图信号：我们将图中的数据可视化为样本的有限集合，每个结点一个样本，并将这些样本统称为图信号——Graph signal。即：图信号=定义在结点上的数据。

推广信号处理的问题：

• 图域中缺乏一个具有平移不变性的平移概念（shift-invariant notion of translation)；
• 图中的频谱离散且不规则间隔，因此定义一个对应于图谱域的平移算子非常重要；
• 图上的下采样缺乏定义，甚至“每隔一个结点”都缺乏定义；
• 即便定义好了下采样，我们需要一个生成能捕获原图中嵌入的结构属性的粗略版本的方法；
• 除了上述为了处理图的不规则属性之外，图中往往还有大量的顶点，也意味着有大量的数据，所以我们需要局部操作，通过使用每个节点的小范围邻居的数据来计算该节点的信息；

因此，图信号处理的挑战在于：

• 当实际应用中并未直接给出图，我们应该如何捕获几何结构以构建一张带权图？
• 给图结构赋予局部操作，并开发计算上有效的局部操作，以便于从高维数据中提取信息；
• 利用多年以来在欧式空间中信号处理的宝贵直觉（invaluable intuition）

为了解决这些挑战，图信号处理的新兴领域结合了代数、谱图理论概念、计算谐波分析。然而，过去在代数几何理论和谱图几何理论中都有着大量的研究，但他们都集中于基础图，而不是图上的信号。
但是，此前的研究人员在多边形网格和流形上仍有局部信号处理技术，这将为后续的图信号处理提供方向。

图谱域

在图信号处理领域内，谱图理论被视为定义频谱的工具和图傅里叶变换的扩展基础。

A.带权图与图信号

一般讨论连通图，否则在各个连通分量上进行分析。
如果没有显式给出权重，我们一般使用阈值高斯核加权函数：

θ、k为参数。
i，j的距离可以是物理距离，也可以是描述i、j的向量的欧氏距离（在图上的半监督学习领域中更广泛使用）。
此外，我们还可以通过连接节点的k-邻近结点来构造图。

B.组合拉普拉斯算子

L:=D-W
D：度矩阵，i项表示第i个结点的所有边的权重和。
W：带权邻接矩阵
拉普拉斯算子即为函数梯度的散度，f（i）-f（j）为梯度，其加权平均即为梯度的散度
图拉普拉斯算子是一个微分算子，对于任意图信号f∈R^N，满足：

其中N_i为结点i的邻接点集。更一般的，定义N(i,k)为结点i的k-hop范围邻接点集。
由于L为实对称阵，他可以特征分解为n个特征向量{u_l}_l=0,1,…N-1,特征向量具有对应的非负实特征值λ_l，特别的，0作为特征值，指示其连通分量的数量，由于我们讨论连通图，因此有且仅有λ₀=0，并将剩余的特征值从小到大排列为λ₁ ~ λ_N-1。我们将整个频谱表示为：σ（L）={λ₀，λ₁，……λ_N-1}。

C.图傅里叶变换及频率的概念

传统傅里叶变换可以视为f在一维拉普拉斯算子的特征函数——复指数上的扩展，可以通过f与特征方程e^2πiξt的共轭的内积得到：

类似的，我们可以定义图信号f在图拉普拉斯算子的特征向量上的扩展，即f与特征向量 u_l 的共轭的内积：

其反变换则是与特征向量本身内积得到： 传统傅里叶分析中的特征值带有频率概念，对于绝对值小的特征值代表了低频分量，绝对值大的代表高频分量，而图领域中的特征值和特征向量也有类似的频率概念。 0特征值与对应特征向量λ~0~为直流分量，相当于每个节点上有1/（根号N），低频分量在图上变化缓慢（across the graph），即大权重连接的两个顶点处的特征向量值更倾向于相近；而高频分量对应的特征向量振荡更为剧烈，在大权重连接的顶点处对应的特征向量值也会倾向于不同。（图中可见，高频特征向量会有更多过零点，过零点：一条边连接两个异号顶点）。

D.在两种域中表示图信号

顶点域/频域。
我们通常最初得到顶点域的信号g，并根据g得到谱域表示g-hat，并称这样的信号为核——kernel。

E.关于图的固有结构的离散微积分和信号平滑性

当我们进行信号分析时，需要强调的是属性是关于数据域的固有结构而言的，在谱图领域中，固有结构就是带权邻接矩阵。
信号f关于边（i，j）和顶点i的边微分定义为：

信号f在顶点i的图梯度定义为： 顶点i的局部变分（local variance）定义为图梯度的二范数：

局部变分提供了一个对信号f在顶点i处平滑程度的度量，当信号f在顶点i与他的邻接点有相近的值时，局部变分较小。
信号f的离散p狄利克雷形式则可以表示全局平滑程度：

当p=2时，就得到了图的拉普拉斯二次型。 可以看出，图的平滑程度不仅仅依赖于f，还很大程度上依赖于图的固有结构。 ## ***F.其他的图矩阵*** 上述的图拉普拉斯的特征向量{u~l~}只是图傅里叶变换的一种可用基，其余的还有： - 将所有的权重W~i,j~正则化，乘以1/（根号（di，dj）），由此便可得到normalized-拉普拉斯矩阵：L=D^1/2^WD^1/2^，或其等价形式：

此时，所有的特征值均≤2。与原始拉普拉斯矩阵不同的是，与特征值0相关联的特征向量并不代表直流分量。
normalized 和 non-normalized 拉普拉斯都是广义拉普拉斯算子，也叫离散薛定谔算子。
此外还有random-walk矩阵：P=D^-1W，其中每个元素P_i,j表示在图G中进行马尔科夫随机游走时，经一步从i走到j的概率。对于连通的非周期图，随着t趋向于无穷，P的每一行会收敛于随机游走的静态分布。
normalized和non-normalized拉普拉斯都可以作为滤波器基，但何时用normalized，何时用non-normalized，何时用其他的基，没有明确答案。
normalized拉普拉斯优点在于其频谱保持在[0,2]之间，而non-normalized拉普拉斯中0特征值关联直流分量是传统滤波理论的直觉推广。

图信号的广义操作

这里推广的操作是后续建立局部多尺度变换的基础。

A.滤波

频率滤波：

传统信号处理中，我们将信号视为不同频率波的组合，滤波就是加强或减弱其中分量占比的过程，而计算时，通常使用卷积定理，频域信号与传递函数的乘积即为时域信号与滤波器的卷积。
类似的，我们可以推广图滤波器：

f-hat为信号f的图拉普拉斯变换，h-hat为滤波器的传递函数，u_l为特征向量，或者可以改写为：f-out=U·H·U^T·f。基本谱图滤波可以用来实现经典的连续滤波技术的离散版本，如高斯平滑、双边滤波等，这些方法很多是作为变分问题的解出现，以规范ill-posed inverse problem。
ill-posed inverse problem：结果不唯一的逆问题。

顶点域滤波

顶点域滤波中，我们将输出（滤波结果）简单表示为在顶点i及其k-hop邻域内的信号f的线性组合（可以视为“聚合”），此操作即为局部线性变换。

当频域滤波器为k阶多项式时，原文证明其等效于k-hop顶点域滤波。

B.卷积

无法直接推广时域形式的卷积到图域，但可以通过卷积定理的形式，谱域乘=时域/顶点域卷积。

C.平移

与上述一样，在图域中没法直接定义“平移”概念，因此仍需要通过谱域定义平移。
时域平移可以视为信号与在延时t上的脉冲δ的卷积结果，因此顶点域的平移n可以视为信号与在顶点n上的脉冲δ的卷积，而δ的图傅里叶变换即为顶点n上特征向量之和。

但是，我们一般不认为这是“图上的平移”，而是认为这是图谱域上的核（核即前文提到的信号kernel）操作，要将核g(·)平移到顶点n上，则需要在核g的每一项上乘上对应的特征向量u_l（n），再反变换回顶点域。其次，系数√N是为了保证平移算子保持了原信号的均值不变。再次，信号g(·)的平滑程度控制了平移后信号在顶点n附近的局部性（localization），即随着顶点i与n距离增大（最短路径跳数），其幅值下降的程度。最后，广义平移算子并非等距映射，due to the possible localization of the graph Laplacian eigenvectors（谁能解释一下）。

D.调制和缩放

除了平移外，很多经典的变换方法基于调制和缩放来约束其频率成分，

调制：

经典的调制算子：

他代表了频域内的平移：

而推广调制的一种方法是，将上式中一维拉普拉斯特征方程替换为二维拉普拉斯特征向量：

但由于其离散和不规则的性质，图域的调制并非是图谱域的平移，但如果信号g在图谱域位于0附近，则调制后，其频谱在λ_k附近。

缩放：

时域缩放，比例系数s>0：

其频域表示： 类似推广其频域表示： ## ***E.图粗粒化***

许多多尺度图信号变换都要求原图的不同粗粒化表示，即保留固有几何结构、连接信息、图谱域分布、稀疏性的粗糙表示。
将图G={V,E,W}映射为G^reduced={V^reduced,E^reduced,W^reduced}，其G^reduced保留了原图中上述的属性，但有着更少的边、顶点。
粗粒化可以分解为两个子问题：

1. 确定顶点子集V^reduced；
2. 确定边子集E^reduced即对应W^reduced，用以连接新的顶点集。
   第一个问题即图降采样，第二个问题一般称为图压缩。

图信号的局部多尺度变换

信号f在顶点i周围的“扩散（spread）”定义为：

其中f(j)²/||f||²可以理解为信号f的概率质量函数，则扩散是顶点i处的测地距离d_G的方差，整个图上的扩散则是各顶点扩散的最小值。
类似的，图谱域上的扩散可以定义为：

此时的f(j)²/||f||²是信号f在拉普拉斯矩阵谱上的概率质量函数，√μ和扩散则是√λ的均值和方差。

图小波变换：

待续