论文笔记:The Emerging Field of Signal Processing on Graphs

Intro

图信号:我们将图中的数据可视化为样本的有限集合,每个结点一个样本,并将这些样本统称为图信号——Graph signal。即:图信号=定义在结点上的数据。

推广信号处理的问题:

  • 图域中缺乏一个具有平移不变性的平移概念(shift-invariant notion of translation);
  • 图中的频谱离散且不规则间隔,因此定义一个对应于图谱域的平移算子非常重要;
  • 图上的下采样缺乏定义,甚至“每隔一个结点”都缺乏定义;
  • 即便定义好了下采样,我们需要一个生成能捕获原图中嵌入的结构属性的粗略版本的方法;
  • 除了上述为了处理图的不规则属性之外,图中往往还有大量的顶点,也意味着有大量的数据,所以我们需要局部操作,通过使用每个节点的小范围邻居的数据来计算该节点的信息;

因此,图信号处理的挑战在于:

  • 当实际应用中并未直接给出图,我们应该如何捕获几何结构以构建一张带权图?
  • 给图结构赋予局部操作,并开发计算上有效的局部操作,以便于从高维数据中提取信息;
  • 利用多年以来在欧式空间中信号处理的宝贵直觉(invaluable intuition)

为了解决这些挑战,图信号处理的新兴领域结合了代数、谱图理论概念、计算谐波分析。然而,过去在代数几何理论和谱图几何理论中都有着大量的研究,但他们都集中于基础图,而不是图上的信号。
但是,此前的研究人员在多边形网格和流形上仍有局部信号处理技术,这将为后续的图信号处理提供方向。

图谱域

在图信号处理领域内,谱图理论被视为定义频谱的工具和图傅里叶变换的扩展基础。

A.带权图与图信号

一般讨论连通图,否则在各个连通分量上进行分析。
如果没有显式给出权重,我们一般使用阈值高斯核加权函数:

θ、k为参数。
i,j的距离可以是物理距离,也可以是描述i、j的向量的欧氏距离(在图上的半监督学习领域中更广泛使用)。
此外,我们还可以通过连接节点的k-邻近结点来构造图。

B.组合拉普拉斯算子

L:=D-W
D:度矩阵,i项表示第i个结点的所有边的权重和。
W:带权邻接矩阵
拉普拉斯算子即为函数梯度的散度,f(i)-f(j)为梯度,其加权平均即为梯度的散度
图拉普拉斯算子是一个微分算子,对于任意图信号f∈RN,满足:

其中Ni为结点i的邻接点集。更一般的,定义N(i,k)为结点i的k-hop范围邻接点集。
由于L为实对称阵,他可以特征分解为n个特征向量{ul}l=0,1,…N-1,特征向量具有对应的非负实特征值λl,特别的,0作为特征值,指示其连通分量的数量,由于我们讨论连通图,因此有且仅有λ0=0,并将剩余的特征值从小到大排列为λ1 ~ λN-1。我们将整个频谱表示为:σ(L)={λ0,λ1,……λN-1}。

C.图傅里叶变换及频率的概念

传统傅里叶变换可以视为f在一维拉普拉斯算子的特征函数——复指数上的扩展,可以通过f与特征方程e2πiξt共轭的内积得到:

类似的,我们可以定义图信号f在图拉普拉斯算子的特征向量上的扩展,即f与特征向量 ul共轭的内积:

其反变换则是与特征向量本身内积得到:
传统傅里叶分析中的特征值带有频率概念,对于绝对值小的特征值代表了低频分量,绝对值大的代表高频分量,而图领域中的特征值和特征向量也有类似的频率概念。 0特征值与对应特征向量λ~0~为直流分量,相当于每个节点上有1/(根号N),低频分量在图上变化缓慢(across the graph),即大权重连接的两个顶点处的特征向量值更倾向于相近;而高频分量对应的特征向量振荡更为剧烈,在大权重连接的顶点处对应的特征向量值也会倾向于不同。(图中可见,高频特征向量会有更多过零点,过零点:一条边连接两个异号顶点)。

D.在两种域中表示图信号

顶点域/频域。
我们通常最初得到顶点域的信号g,并根据g得到谱域表示g-hat,并称这样的信号为核——kernel。

E.关于图的固有结构的离散微积分和信号平滑性

当我们进行信号分析时,需要强调的是属性是关于数据域的固有结构而言的,在谱图领域中,固有结构就是带权邻接矩阵。
信号f关于边(i,j)和顶点i的边微分定义为:

信号f在顶点i的图梯度定义为:
顶点i的局部变分(local variance)定义为图梯度的二范数:

局部变分提供了一个对信号f在顶点i处平滑程度的度量,当信号f在顶点i与他的邻接点有相近的值时,局部变分较小。
信号f的离散p狄利克雷形式则可以表示全局平滑程度:

当p=2时,就得到了图的拉普拉斯二次型。 可以看出,图的平滑程度不仅仅依赖于f,还很大程度上依赖于图的固有结构。 ## ***F.其他的图矩阵*** 上述的图拉普拉斯的特征向量{u~l~}只是图傅里叶变换的一种可用基,其余的还有: - 将所有的权重W~i,j~正则化,乘以1/(根号(di,dj)),由此便可得到normalized-拉普拉斯矩阵:L=D^1/2^WD^1/2^,或其等价形式:

此时,所有的特征值均≤2。与原始拉普拉斯矩阵不同的是,与特征值0相关联的特征向量并不代表直流分量。
normalized 和 non-normalized 拉普拉斯都是广义拉普拉斯算子,也叫离散薛定谔算子。
此外还有random-walk矩阵:P=D-1W,其中每个元素Pi,j表示在图G中进行马尔科夫随机游走时,经一步从i走到j的概率。对于连通的非周期图,随着t趋向于无穷,P的每一行会收敛于随机游走的静态分布。
normalized和non-normalized拉普拉斯都可以作为滤波器基,但何时用normalized,何时用non-normalized,何时用其他的基,没有明确答案。
normalized拉普拉斯优点在于其频谱保持在[0,2]之间,而non-normalized拉普拉斯中0特征值关联直流分量是传统滤波理论的直觉推广。

图信号的广义操作

这里推广的操作是后续建立局部多尺度变换的基础。

A.滤波

频率滤波:

传统信号处理中,我们将信号视为不同频率波的组合,滤波就是加强或减弱其中分量占比的过程,而计算时,通常使用卷积定理,频域信号与传递函数的乘积即为时域信号与滤波器的卷积。
类似的,我们可以推广图滤波器:

f-hat为信号f的图拉普拉斯变换,h-hat为滤波器的传递函数,ul为特征向量,或者可以改写为:f-out=U·H·UT·f。基本谱图滤波可以用来实现经典的连续滤波技术的离散版本,如高斯平滑、双边滤波等,这些方法很多是作为变分问题的解出现,以规范ill-posed inverse problem。
ill-posed inverse problem:结果不唯一的逆问题。

顶点域滤波

顶点域滤波中,我们将输出(滤波结果)简单表示为在顶点i及其k-hop邻域内的信号f的线性组合(可以视为“聚合”),此操作即为局部线性变换。

当频域滤波器为k阶多项式时,原文证明其等效于k-hop顶点域滤波。

B.卷积

无法直接推广时域形式的卷积到图域,但可以通过卷积定理的形式,谱域乘=时域/顶点域卷积。

C.平移

与上述一样,在图域中没法直接定义“平移”概念,因此仍需要通过谱域定义平移。
时域平移可以视为信号与在延时t上的脉冲δ的卷积结果,因此顶点域的平移n可以视为信号与在顶点n上的脉冲δ的卷积,而δ的图傅里叶变换即为顶点n上特征向量之和。

但是,我们一般不认为这是“图上的平移”,而是认为这是图谱域上的核(核即前文提到的信号kernel)操作,要将核g(·)平移到顶点n上,则需要在核g的每一项上乘上对应的特征向量ul(n),再反变换回顶点域。其次,系数√N是为了保证平移算子保持了原信号的均值不变。再次,信号g(·)的平滑程度控制了平移后信号在顶点n附近的局部性(localization),即随着顶点i与n距离增大(最短路径跳数),其幅值下降的程度。最后,广义平移算子并非等距映射,due to the possible localization of the graph Laplacian eigenvectors(谁能解释一下)。

D.调制和缩放

除了平移外,很多经典的变换方法基于调制和缩放来约束其频率成分,

调制:

经典的调制算子:

他代表了频域内的平移:

而推广调制的一种方法是,将上式中一维拉普拉斯特征方程替换为二维拉普拉斯特征向量:

但由于其离散和不规则的性质,图域的调制并非是图谱域的平移,但如果信号g在图谱域位于0附近,则调制后,其频谱在λk附近。

缩放:

时域缩放,比例系数s>0:

其频域表示:
类似推广其频域表示:
## ***E.图粗粒化***

许多多尺度图信号变换都要求原图的不同粗粒化表示,即保留固有几何结构、连接信息、图谱域分布、稀疏性的粗糙表示。
将图G={V,E,W}映射为Greduced={Vreduced,Ereduced,Wreduced},其Greduced保留了原图中上述的属性,但有着更少的边、顶点。
粗粒化可以分解为两个子问题:

  1. 确定顶点子集Vreduced
  2. 确定边子集Ereduced即对应Wreduced,用以连接新的顶点集。
    第一个问题即图降采样,第二个问题一般称为图压缩。

图信号的局部多尺度变换

信号f在顶点i周围的“扩散(spread)”定义为:

其中f(j)2/||f||2可以理解为信号f的概率质量函数,则扩散是顶点i处的测地距离dG的方差,整个图上的扩散则是各顶点扩散的最小值。
类似的,图谱域上的扩散可以定义为:

此时的f(j)2/||f||2是信号f在拉普拉斯矩阵谱上的概率质量函数,√μ和扩散则是√λ的均值和方差。

图小波变换:

待续

已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页