【机器学习】Unsupervised feature selection by regularized self-representation（RSR）

RSR
参考论文：Unsupervised feature selection by regularized self-representation
作者：Pengfei Zhu , Wangmeng Zuo , Lei Zhang , Qinghua Hu , Simon C.K. Shiu

模型

该模型中，特征矩阵由它本身表示，来找到具有代表性的特征分量。用$L_{2,1}$范数来表示残差，从而减少异常值的影响。与其他模型不同的是，本模型目标是识别一个有代表性的特征子集，使得所有的特征都能被很好的重构，因此对表示系数施加$L_{2,1}$范数来保证行稀疏。
在本文模型中，如果一个特征是重要的，它将参与到其他特征的表示中，从而产生一排重要的表示稀疏，反之亦然。

样本矩阵为$X\in R^{n\ast m}$，其中$n$表示样本数，$m$表示特征数。使用$x_1,x_2,...,x_n$来表示$n$个样本，$x_i\in R^m$，于是$X=[x_1;x_2;...;x_n]$，使用$f_1,f_2,...,f_m$表示$m$个特征，$f_i\in R^n$，于是$X=[f_1,f_2,...,f_m]$。

对于样本$X$的每一个特征$f_i$，我们把它表示为包括它本身的所有特征的线性组合：$$f_i=\sum _{j=1}^n{f}_j{w}_{ji}+e_i$$对于所有特征，我们有：$$X=XW+E$$其中$W=w_{ji}\in R^{m\ast m}$为表示系数。

学习到的矩阵$W$应该在保证残差$E$足够小的同时能反应不同特征的重要性，人们可能用2范来测量残差
（$||X-XW|{|}_F^2$），然而，F范数对异常值敏感。考虑到一个异常样本是样本矩阵$X$的一行，也就是$E=X-XW$
的一行，所以用$L_{2,1}$范数来表示残差$E$，也就是，让残差$E$行稀疏，从而提高对异常样本的鲁棒性。与此同时，让
$W\in R^{m\ast m}$，会由于让$E=0$从而得到一个过拟合的解，所以要加一个正则项$E(W)$来避免过拟合。于是有以下模型$$W^{\ast }=argmi{n}_W||X-XW|{|}_{2,1}+\lambda R(W)$$其中，$W=[w_1;...;w_i;...;w_m]$,$w_i$是$W$的一行，$||w_i|{|}_2$可以用来作为特征权重，因为它反应了第$i$个特征在表示中的重要性。如果$||w_i|{|}_2=0$则说明这个特征在表示其他特征时没有用。反之，如果这个特征参加了表示所有特征，则$||w_i|{|}_2$一定是有意义的。因此给矩阵$W$施加行稀疏正则项，即$R(W)=||W|{|}_{2,1}={\sum }_{i=1}^m||w_i|{|}_2$，所以目标函数为：$$W^{\ast }=argmi{n}_W||X-XW|{|}_{2,1}+\lambda ||W|{|}_{2,1}$$