反转图嵌入

文章链接： Probabilistic Dimensionality Reduction via Structure Learning.–2016（ 《IEEE Transactions on Pattern Analysis & Machine Intelligence》被引量3）.

主要贡献

本文的主要贡献概括如下：

• 提出了一种用于降维的概率框架，它不仅考虑了数据的噪声，而且还利用邻域图作为位置信息。既考虑到数据生成错误，又考虑到成对距离约束；

• 在 the expected distances上，通过利用 ℓ2 损失函数提出了新模型，给定一个邻域图，该模型能够学习嵌入点的平滑骨架结构，并通过使数据点之间成对距离的收缩来保留噪声数据的固有结构；

• 提出另外一个模型，它可以找到一组可直接形成显式图结构的嵌入点；（为了证明此模型学到的：显式图推广了反向图嵌入方法， 但从贝叶斯的角度来看，这是一种自然的解释）；

• 讨论了所提出的模型与各种现有方法之间的联系，包括反向图嵌入，MEU和结构学习方法。

降维概述

• 降维要做的事：
  一组数据点(N个)： Y = { y i } i = 1 N \mathbb {Y}=\lbrace \mathbf{y}_i\rbrace _{i=1}^N Y={yi​}i=1N​ ，${\mathbf{y}}_i\in {\mathbb{R}}^D$
  找到一组数据点(N个)： X = { x i } i = 1 N \mathbb {X}=\lbrace \mathbf{x}_i\rbrace _{i=1}^N X={xi​}i=1N​ ，${\mathbf{x}}_i\in {\mathbb{R}}^d$，其中 $d<D$.
• 降维的两个角度：确定性和概率性
• 概率模型能够考虑数据生成的噪声模型。
  在这里，观察数据$\mathbb{Y}$和降维数据$\mathbb{X}$被看作随机变量；
  令矩阵$\mathbf{X}=[{\mathbf{x}}_1,\dots ,{\mathbf{x}}_N{]}^T\in {\mathbb{R}}^{N\times d}$，$\mathbf{Y}=[{\mathbf{y}}_1,\dots ,{\mathbf{y}}_N{]}^T\in {\mathbb{R}}^{N\times D}$
  假设 x_i 和 y_i 之间呈线性关系，噪声由下式给出：
  $${\mathbf{y}}_i=\mathbf{W}{\mathbf{x}}_i+{\mathbf{ϵ}}_i,\forall i,$$
  其中，$\mathbf{W}\in {\mathbb{R}}^{D\times d}$是线性投影矩阵，${\mathbf{ϵ}}_i\in {\mathbb{R}}^D$是噪声向量。噪声相互独立，且服从均值为0，协方差为${\gamma }^{-1}{\mathbf{I}}_D$ 的球面高斯分布，其中$\gamma >0$,${\mathbf{I}}_D$是$D\times D$ 阶的单位矩阵，${\mathbf{y}}_i$的概率为：
  $$p({\mathbf{y}}_i|{\mathbf{x}}_i,\mathbf{W},\gamma )=\mathcal{N}({\mathbf{y}}_i|\mathbf{W}{\mathbf{x}}_i,{\gamma }^{-1}{\mathbf{I}}_D)$$
  the whole data的概率为：$p(\mathbf{Y}|\mathbf{X},\mathbf{W},\gamma )={\prod }_{i=1}^{N}p({\mathbf{y}}_i|{\mathbf{x}}_i,\mathbf{W},\gamma )$

流程图

三、方法

• (1) 正则化的经验贝叶斯推理
• (2) 捕获流形结构的期望约束

1.正则化的经验贝叶斯推理

• 正则化的经验贝叶斯推理是一种基于后验推理的优化公式，利用知识驱动和数据驱动替换标准正态性约束。

1.1 定义及公式

• 将 $\dot{M}$表示为可行模型的空间，是一个完全可分离的度量空间，其中$B(\dot{M})$为Borel $\sigma$-代数 ， $Mϵ\dot{M}$是该空间中的元素，此外，将 $\prod$ 表示为可测量空间 $\left(\dot{M},B\left(\dot{M}\right)\right)$里面的分布， 我们假设 $\prod$ 在某种背景测量 $\mu$下是绝对连续的，因此存在密度函数$\pi$使得 $d\prod =\pi d\mu$ ；
• 给定一个模型，令 $D$ 是一组独立同分布的观测点集，定义$q\left(\cdot \right)$ 和 $\pi \left(\cdot \right)$ 的相对熵: 相对熵解释.
  $$KL(q(M)\parallel \pi (M))={\int }_{\dot{M}}q(M)log(\frac{q(M)}{\pi \left(M\right)})d\mu \left(M\right)$$
• 若存在未知参数（例如超参数），并需要估计过程（如，极大似然估计），经验贝叶斯推断是必要的。
  在这里，我们关注期望约束，其中每个约束都是$q\left(M\right)$关于期望的函数，下面举例说明：
• 设 $\psi \left({\psi }_1,{\psi }_2,\cdot \cdot \cdot \cdot ,{\psi }_T\right)$是一组特征函数，定义在$\dot{M}$上，用${\psi }_t\left(M;D\right)$表示，并且可能依赖于数据。参数 $\Theta$ 未知，正则化的经验贝叶斯推理通过以下优化公式(1) 给出：
  

其中，$E_{q\left(M\right)}\left[{\psi }_M\left(M;D\right)\right]$ 是指 ${\psi }_t\left(M;D\right)$ 超过 $q\left(M\right)$的期望，$U$ 是 ${\left\{E_{q\left(M\right)}\left[{\psi }_M\left(M;D\right)\right]\right\}}_{t=1}^T$ 的函数（正则化部分），
$\Theta$是未知参数 $\theta$ 的可行集合，${\mathbb{P}}^{{}_{prop}}$是分布的子空间，
注意，在最小化公式（1）中，关于$q\left(M\right)$和$\Theta$，前两项导致最优解 :

和${\Theta }^{\ast }$.

其等价于最大似然估计:

因此，优化公式（1）被称为正则化经验贝叶斯推断，其中正则化项对捕获结构信息数据很有用。

2.成对距离的期望约束

• 期望约束被广泛用于研究广义最大熵模型和正则化的贝叶斯推理模型中的分类问题。
  特征函数的定义是形成期望约束的必要因素之一,另一个必要是确定函数 $U$ .
  给定概率密度函数$q\left(M\right)$，
• 如前所述，大多数判别方法将成对距离作为关键信息，因此，在本文中，可以将成对距离视为用于降维的特征函数的因子

定义

• 特征函数${\psi }_{i,j}$表示嵌入点 x_i 和 x_j 的成对距离之间的差异；
• $\varphi \left(i,j\right)$表示嵌入点 x_i 和 x_j 相应的距离；
  并有关系式 ${\psi }_{i,j}\left(X,Y\right)={\Vert x_i-x_j\Vert }^2-{\varphi }_{i,j}$
• 确定函数 $U$，