论文解读《Cauchy Graph Embedding》

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475

Paper Information

Title：Cauchy Graph EmbeddingAuthors：Dijun Luo, C. Ding, F. Nie, Heng HuangSources：2011, ICMLOthers：71 Citations, 30 References

---

Abstract

拉普拉斯嵌入（ Laplacian embedding）为图的节点提供了一种低维表示，其中边权值表示节点对象之间的成对相似性。通常假设拉普拉斯嵌入结果保留了低维投影子空间上原始数据的局部拓扑结构，即对于任何一对相似性较大的图节点，它们都应该紧密地嵌入在嵌入空间中。然而，在本文中，我们将证明 Laplacian embedding 往往不能像我们预期的那样很好地保持局部拓扑。为了增强图嵌入中的局部拓扑保持性，我们提出了一种新的 Cauchy Graph Embedding 方法，它通过一个新的目标来保持嵌入空间中原始数据的相似性关系。

1 Introduction

从数据嵌入的角度来看，我们可以将无监督嵌入方法分为两类。第一类方法是通过线性变换将数据嵌入到线性空间中，如主成分分析(PCA)(Jolliffe，2002)和多维尺度分析(MDS)(Cox&Cox，2001)。主成分分析和 MDS 都是特征向量方法，可以在高维数据中的线性变量。它们早已广为人知，并被广泛应用于许多机器学习应用程序中。

然而，真实数据的底层结构往往是高度非线性的，因此不能用线性流形精确地近似。第二类方法基于不同的目的以非线性的方式嵌入数据。最近提出了几种有前途的非线性方法，包括  IsoMAP (Tenenbaum et al., 2000), Local Linear Embedding (LLE) (Roweis & Saul, 2000), Local Tangent Space Alignment (Zhang & Zha, 2004), Laplacian Embedding/Eigenmap (Hall, 1971; Belkin & Niyogi, 2003; Luo et al., 2009), and Local Spline Embedding (Xiang et al., 2009) etc。通常，他们建立了一个由邻域图导出的二次目标，并求解它的主要特征向量：Isomap 取与最大特征值相关的特征向量；LLE 和 拉普拉斯嵌入 使用与最小特征值相关的特征向量。Isomap 试图保持沿低维流形测量的输入数据的全局成对距离；LLE和拉普拉斯嵌入试图保持数据的局部几何关系。

2 Laplacian Embedding

首先介绍 Laplacian embedding 。输入数据是 nnn 个数据对象之间成对相似性的矩阵 WWW。把 WWW 看作是一个有 nnn 个节点的图上的边的权值。其任务是将图中的节点嵌入到具有坐标 (x1,⋯,xn)(x1,⋯,xn)\left(x_{1}, \cdots, x_{n}\right) 的一维空间中。目标是，如果 iii，jjj 相似(即 wijwijw_{ij} 很大)，它们应该在嵌入空间中应该相邻，即 (xi−xj)2(xi−xj)2{(x_i−x_j)}^2 应该很小。这可以通过最小化来实现。

minxJ(x)=∑ij(xi−xj)2wij(1)minxJ(x)=∑ij(xi−xj)2wij(1)\underset{\mathbf{x}}{\text{min}}J(\mathbf{x})=\sum\limits_{i j}\left(x_{i}-x_{j}\right)^{2} w_{i j}\quad\quad\quad(1)

如果最小化 ∑ij(xi−xj)2wij∑ij(xi−xj)2wij \sum\limits_{i j}\left(x_{i}-x_{j}\right)^{2} w_{i j} 没有限制，那么可以使得向量 xx\mathbf{x} 全为 000 向量，这显然不行， 因此加入限制 ∑ix2i=1∑ixi2=1\sum\limits_{i} x_{i}^{2}=1 。另一个问题是原目标函数具有平移不变性，即将 xixix_{i} 替换为 xi+axi+ax_{i}+a 解不变，这显然不行，所以加入限制 ∑xi=0∑xi=0\sum\limits x_{i}=0，即 xxx 围绕在 000 附近。此时原目标函数变为：

minx∑ij(xi−xj)2wij,  s.t. ∑ix2i=1,∑ixi=0minx∑ij(xi−xj)2wij,  s.t. ∑ixi2=1,∑ixi=0\begin{array}{c} \min _{\mathbf{x}} \sum\limits_{i j}\left(x_{i}-x_{j}\right)^{2} w_{i j},\\ \text { s.t. } \sum\limits_{i} x_{i}^{2}=1, \sum\limits_{i} x_{i}=0\end{array}

这个嵌入问题的解决方案很容易得到，因为

J(x)=2∑ijxi(D−W)ijxj=2xT(D−W)xJ(x)=2∑ijxi(D−W)ijxj=2xT(D−W)xJ(\mathbf{x})=2 \sum\limits_{i j} x_{i}(D-W)_{i j} x_{j}=2 \mathbf{x}^{T}(D-W) \mathbf{x}

其中 D=diag(d1,⋯,dn)D=diag⁡(d1,⋯,dn)D=\operatorname{diag}\left(d_{1}, \cdots, d_{n}\right)，di=∑jWijdi=∑jWijd_{i}=\sum\limits_{j} W_{i j}。矩阵 (D−W)(D−W)(D-W)  称为图拉普拉斯算子，最小化嵌入目标的嵌入解由

(D−W)x=λx(4)(D−W)x=λx(4)(D-W) \mathbf{x}=\lambda \mathbf{x} \quad \quad \quad (4)

拉普拉斯嵌入在机器学习中得到了广泛的应用，用于保留局部拓扑的图节点的正则化

3 The Local Topology Preserving Property of Graph Embedding

本文研究了图嵌入的局部拓扑保持性质。首先给出了局部拓扑保留的定义，并证明了与被广泛接受的概念相反，拉普拉斯嵌入可能不能在嵌入空间中保留原始数据的局部拓扑。

3.1 Local Topology Preserving

首先给出了局部拓扑保留的定义。给定一个边权值为 W=(wij)W=(wij)W=\left(w_{i j}\right) 的对称（无向）图，并且对图的 nnn 个节点具有相应的嵌入 (x1,⋯,xn)(x1,⋯,xn)\left(\mathbf{x}_{1}, \cdots, \mathbf{x}_{n}\right)。如果以下条件成立，我们假设嵌入保持了局部拓扑

if wij≥wpq,