【DSRMR】Robust unsupervised fs via dual self-representation and manifold regularization

基本信息

论文：《Robust unsupervised feature selection via dual self-representation and
manifold regularization》
作者： Chang Tanga, Xinwang Liub, Miaomiao Li b, Pichao Wangc,∗, Jiajia Chend,∗, Lizhe Wanga,
Wanqing Li
年份： 2018

主要思想

以前存在的问题：

之前的基于图的正则化自表示的无监督特征选择方法中至少存在两个问题：

• 首先，Frobenius norm被广泛用于正则化特征表示残差项，使得很多方法对数据异常值敏感，导致特征选择性能不理想
• 其次，图构造和特征表示系数矩阵是独立学习的，也就是说通过使用一组预定义的或自定义的距离函数，提前计算出数据样本的相似度图，然后利用固定的样本图保持局部几何数据结构。然而，传统高斯核函数中人工设定距离函数的参数，如k近邻的个数和核宽度等，会对图的质量产生较大的影响。

解决办法：

提出了一种基于对偶自表示和流行正则化的鲁棒无监督特征选择方法，简称DSRMR

• 首先，利用特征自表示项学习特征表示系数矩阵，获取不同特征维数的重要性。利用样本自表示项自动学习数据样本的相似图
• 同时，不像现有的图正则化无监督特征选择方法使用固定图，这里使用学习得到的相似图来保持局部几何结构
• 采用L2,1-范数对特征重构残差项进行正则化，来提高鲁棒性。为了度量不同特征维度的重要性，特征表示系数矩阵也受到行稀疏性L2,1-范数的约束

目标函数：

$X\in R^{n\ast d}$，其中$n$表示样本数，$d$表示特征数
特征选择问题如下：

其中$W$是特征权重矩阵，特征自表示被广泛用于特征选择中。
在无监督特征选择中，另一个重要的方面是数据的局部几何结构，通常用图拉普拉斯来捕捉。
也就是说，原始样本中样本之间得关系也要映射到重构空间

这里得$S_{ij}$就是原始样本中的关系。

上式通过变换可以得到：

这里的$L=D-S$就是拉普拉斯矩阵。
需要注意的是，在以往的图数据正则化方法中，图数据的构造和特征系数矩阵的学习是两个相互独立的步骤。通过人工设置距离函数计算相似度图，然后利用该图对局部几何结构进行保存。然而传统高斯核函数中人工设定距离函数的参数，如k近邻的个数和核宽度等，会对图的质量产生较大的影响。
red
所以，该论文的目标函数隆重出场：

其中$Y=X^T$表示一列一个样本，$Z$是样本自表示矩阵，$L=D-S$是拉普拉斯矩阵$S=\frac{|Z|+|Z^T|}{2}$
本文认为特征自表示和样本自表示同等重要，所以设置了同样的参数。第一项是特征自表示，第二项是样本自表示。