RSR
参考论文:Unsupervised feature selection by regularized self-representation
作者:Pengfei Zhu , Wangmeng Zuo , Lei Zhang , Qinghua Hu , Simon C.K. Shiu
模型
该模型中,特征矩阵由它本身表示,来找到具有代表性的特征分量。用
L
2
,
1
L_{2,1}
L2,1范数来表示残差,从而减少异常值的影响。与其他模型不同的是,本模型目标是识别一个有代表性的特征子集,使得所有的特征都能被很好的重构,因此对表示系数施加
L
2
,
1
L_{2,1}
L2,1范数来保证行稀疏。
在本文模型中,如果一个特征是重要的,它将参与到其他特征的表示中,从而产生一排重要的表示稀疏,反之亦然。
样本矩阵为 X ∈ R n ∗ m X∈R^{n*m} X∈Rn∗m,其中 n n n表示样本数, m m m表示特征数。使用 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x1,x2,...,xn来表示 n n n个样本, x i ∈ R m x_i∈R^m xi∈Rm,于是 X = [ x 1 ; x 2 ; . . . ; x n ] X=[x_1;x_2;...;x_n] X=[x1;x2;...;xn],使用 f 1 , f 2 , . . . , f m f_1,f_2,...,f_m f1,f2,...,fm表示 m m m个特征, f i ∈ R n f_i∈R^n fi∈Rn,于是 X = [ f 1 , f 2 , . . . , f m ] X=[f_1,f_2,...,f_m] X=[f1,f2,...,fm]。
对于样本 X X X的每一个特征 f i f_i fi,我们把它表示为包括它本身的所有特征的线性组合: f i = ∑ j = 1 n f j w j i + e i f_i = \sum_{j=1}^nf_jw_{ji}+e_i fi=j=1∑nfjwji+ei对于所有特征,我们有: X = X W + E X = XW+E X=XW+E其中 W = w j i ∈ R m ∗ m W=w_{ji}∈R^{m*m} W=wji∈Rm∗m为表示系数。
学习到的矩阵
W
W
W应该在保证残差
E
E
E足够小的同时能反应不同特征的重要性,人们可能用2范来测量残差
(
∣
∣
X
−
X
W
∣
∣
F
2
||X-XW||_F^2
∣∣X−XW∣∣F2),然而,F范数对异常值敏感。考虑到一个异常样本是样本矩阵
X
X
X的一行,也就是
E
=
X
−
X
W
E = X-XW
E=X−XW
的一行,所以用
L
2
,
1
L_{2,1}
L2,1范数来表示残差
E
E
E,也就是,让残差
E
E
E行稀疏,从而提高对异常样本的鲁棒性。与此同时,让
W
∈
R
m
∗
m
W∈R^{m*m}
W∈Rm∗m,会由于让
E
=
0
E=0
E=0从而得到一个过拟合的解,所以要加一个正则项
E
(
W
)
E(W)
E(W)来避免过拟合。于是有以下模型
W
∗
=
a
r
g
m
i
n
W
∣
∣
X
−
X
W
∣
∣
2
,
1
+
λ
R
(
W
)
W^* = argmin_W||X-XW||_{2,1}+\lambda R(W)
W∗=argminW∣∣X−XW∣∣2,1+λR(W)其中,
W
=
[
w
1
;
.
.
.
;
w
i
;
.
.
.
;
w
m
]
W=[w_1;...;w_i;...;w_m]
W=[w1;...;wi;...;wm],
w
i
w_i
wi是
W
W
W的一行,
∣
∣
w
i
∣
∣
2
||w_i||_2
∣∣wi∣∣2可以用来作为特征权重,因为它反应了第
i
i
i个特征在表示中的重要性。如果
∣
∣
w
i
∣
∣
2
=
0
||w_i||_2=0
∣∣wi∣∣2=0则说明这个特征在表示其他特征时没有用。反之,如果这个特征参加了表示所有特征,则
∣
∣
w
i
∣
∣
2
||w_i||_2
∣∣wi∣∣2一定是有意义的。因此给矩阵
W
W
W施加行稀疏正则项,即
R
(
W
)
=
∣
∣
W
∣
∣
2
,
1
=
∑
i
=
1
m
∣
∣
w
i
∣
∣
2
R(W)=||W||_{2,1}=\sum_{i=1}^m||w_i||_2
R(W)=∣∣W∣∣2,1=∑i=1m∣∣wi∣∣2,所以目标函数为:
W
∗
=
a
r
g
m
i
n
W
∣
∣
X
−
X
W
∣
∣
2
,
1
+
λ
∣
∣
W
∣
∣
2
,
1
W^* = argmin_W||X-XW||_{2,1}+\lambda||W||_{2,1}
W∗=argminW∣∣X−XW∣∣2,1+λ∣∣W∣∣2,1