NIPS-2011《Sparse Manifold Clustering and Embedding》

---

推荐一个机器学习前沿公众号，第一时间获取最有价值的前沿机器学习文章。

---

核心思想

论文提出了一种名为Sparse Manifold Clustering and Embedding (SMCE)的算法，旨在同时对高维数据进行聚类和降维，这些数据假设分布在多个非线性流形上。其核心思想基于以下假设：对于每个数据点，其所属流形上的局部邻域中的点近似位于一个低维仿射子空间内。SMCE通过稀疏优化自动选择每个数据点的邻居及其权重，从而构建一个稀疏的相似性图，用于后续的谱聚类和降维。这种方法避免了传统方法中固定邻域大小或手动选择邻居的局限性，能够处理流形间距离较近、非均匀采样或具有孔洞等复杂情况，同时估计流形的内在维度。

具体而言，SMCE的关键创新在于：

1. 稀疏表示：利用稀疏优化选择同一流形上的邻居，基于这些邻居点张成的低维仿射子空间逼近数据点。
2. 联合优化：同时确定邻居和权重，而非传统方法先构建邻域图再计算权重。
3. 流形维度估计：通过稀疏解的非零元素数量估计流形的内在维度。

目标函数

SMCE的目标函数基于稀疏优化，旨在为每个数据点$x_i$选择一组稀疏的邻居点，这些点张成的低维仿射子空间能够近似通过$x_i$。论文提出了两种等价的优化形式，通过加权${\ell }_1$范数促进稀疏性和仿射重构误差的平衡。

优化形式1（带约束的加权${\ell }_1$优化）

目标函数为：
$$\min \Vert Q_i{c}_i{\Vert }_1\text{subject to}\Vert X_i{c}_i{\Vert }_2\le \epsilon ,1^{\top }{c}_i=1$$
其中：

• $c_i$：表示数据点$x_i$的稀疏系数向量，非零元素对应选择的邻居点。
• $X_i=\left[\frac{x_1-x_i}{\Vert x_1-x_i{\Vert }_2},\dots ,\frac{x_N-x_i}{\Vert x_N-x_i{\Vert }_2}\right]\in {\mathbb{R}}^{D\times (N-1)}$：归一化的邻居向量矩阵，确保选择邻居时不受距离尺度影响。
• $Q_i$：对角矩阵，其对角元素为$\frac{\Vert x_j-x_i{\Vert }_2}{{\sum }_{t\ne i}\Vert x_t-x_i{\Vert }_2}$，用于偏向选择靠近$x_i$的点。
• $\epsilon$：控制仿射重构误差的容忍度。
• $1^{\top }{c}_i=1$：仿射约束，确保$c_i$表示仿射组合。

优化形式2（Lasso形式）

通过拉格朗日乘子法，上述问题可转化为无约束形式：
$$\min \lambda \Vert Q_i{c}_i{\Vert }_1+\frac{1}{2}\Vert X_i{c}_i{\Vert }_2^2\text{subject to}{1}^{\top }{c}_i=1$$
其中：

• $\lambda$：权衡稀疏性（${\ell }_1$项）和重构误差（${\ell }_2$项）的参数。
• 其他符号与优化形式1相同。

两种形式的核心目标是：通过最小化加权${\ell }_1$范数促进$c_i$的稀疏性，同时保证选择的邻居点能够张成一个低维仿射子空间，逼近$x_i$。

目标函数的优化过程

优化过程主要基于求解上述稀疏优化问题，以下是具体步骤：

1. 数据预处理：

   • 对于每个数据点$x_i$，构造归一化矩阵$X_i$，其中每个列向量为$\frac{x_j-x_i}{\Vert x_j-x_i{\Vert }_2}$，以消除距离尺度的影响。
   • 构建加权矩阵$Q_i$，其对角元素根据$x_j$与$x_i$的距离定义，偏向选择近邻。

2. 稀疏优化求解：

   • 对于优化形式1，使用凸优化工具（如线性规划或内点法）求解带约束的加权${\ell }_1$优化问题。
   • 对于优化形式2，转化为类似Lasso的优化问题，可通过现成的稀疏优化算法（如坐标下降法或ADMM）求解。
   • 优化结果为稀疏向量$c_i$，其非零元素对应$x_i$在同一流形上的邻居点。

3. 权重计算：

   • 根据$c_i$，计算权重向量$w_i$，其中$w_{ij}=\frac{c_{ij}/\Vert x_j-x_i{\Vert }_2}{{\sum }_{t\ne i}{c}_{it}/\Vert x_t-x_i{\Vert }_2}$（$j\ne i$），$w_{ii}=0$。
   • 权重$w_{ij}$反映邻居点$x_j$与$x_i$的距离关系，用于构建相似性图。

4. 相似性图构建与谱分析：

   • 构建相似性图$\mathcal{G}$，边权重为$|w_{ij}|$，由于$c_i$的稀疏性，图中每个节点仅连接到少量邻居。
   • 构造相似性矩阵$W=[|w_1|,\dots ,|w_N|]$，理想情况下为块对角形式，每个块对应一个流形。
   • 聚类：对$W$应用谱聚类，基于Laplacian矩阵的特征值分解确定流形数量和聚类结果。
   • 降维：对每个聚类的子矩阵$W[l]$，计算归一化Laplacian矩阵的特征向量，得到低维嵌入。

5. 维度估计：

   • 对于每个聚类$l$，计算中值稀疏系数向量 m s c ( l ) = median { c s , i } i ∈ Ω l msc^{(l)} = \text{median} \{ c_{s,i} \}_{i \in \Omega_l} msc(l)=median{cs,i​}i∈Ωl​​，其中$c_{s,i}$为排序后的$|c_i|$。
   • $ms{c}^{(l)}$中非零元素数量（或高幅度元素数量）估计流形$l$的内在维度$d_l+1$。

主要贡献点

1. 统一的聚类与降维框架：

   • SMCE首次提出通过稀疏优化同时实现多流形数据的聚类和降维，避免了传统方法分步处理的复杂性。
   • 通过单一优化过程自动选择邻居和权重，克服了固定邻域大小的局限性。

2. 稀疏优化的几何假设：

   • 提出关键假设：同一流形上的邻居点张成的低维仿射子空间能够逼近数据点，利用稀疏优化实现邻居选择。
   • 该假设在流形间距离较近、非均匀采样或流形具有孔洞等复杂场景下依然有效。

3. 流形维度估计：

   • 通过稀疏解的非零元素数量，SMCE能够估计每个流形的内在维度，且允许不同数据点具有不同邻域大小，适应局部流形结构的异质性。

4. 鲁棒性和稳定性：

   • 实验表明，SMCE在合成数据（如穿孔球面、双三叶结）和真实数据（如Yale B人脸数据集、MNIST数字数据集）上均表现出色，尤其在流形靠近或采样不均匀的情况下优于传统方法（如LLE、LEM）。
   • 算法对参数$\lambda$的敏感性较低，在宽范围内（如$\lambda \in [1,200]$）表现稳定。

5. 高效实现：

   • 稀疏解使得相似性矩阵$W$高度稀疏，便于存储和计算。
   • 通过限制优化中的邻居数量（如$L=N/10$），降低计算复杂度。

总结

SMCE通过稀疏优化实现了多流形数据的联合聚类和降维，其核心在于利用局部低维仿射子空间的几何性质自动选择邻居点。目标函数通过加权${\ell }_1$范数和仿射重构误差的平衡，优化稀疏系数向量，进而构建稀疏相似性图用于谱聚类和降维。优化过程结合凸优化技术和谱分析，高效且鲁棒。主要贡献包括统一的算法框架、流形维度估计能力以及在复杂场景下的优越性能，为非线性流形学习提供了新的视角和工具。