上篇文章介绍了基于稀疏表示的人脸,相对先前的人脸识别方法具有重大突破进展,其核心思想:通过训练样本对测试样本进行线性表示,使用
L1−norm
求解稀疏系数,最后,利用残差对测试样本进行分类判别。SRC(Sparse Representation for classification)突出的是表示中的稀疏性是识别率提高的关键点,然而有关学者在进行研究过程中发现,稀疏性并不是真正的决定性点,提出类别之间的协作表示在分类中的重要性,本文从协作表示和稀疏表示之间的关系出发,介绍其中的异同点。
参考文章:Lei Zhang, Meng Yang, Xiangchu Feng. Sparse Representation or Collaborative Representation: Which Helps Face Recognition?
Algorithm1: Sparse Representation for Classifiaction
step1:对训练样本和测试样本进行单位
L2−norm
归一化
step2:使用训练样本对测试样本进行系数编码:
α^=argminα{∥y−Xα∥22+λ∥α∥1}
(1)
step3:根据编码系数求解每类样本残差:
ri=∥y−Xiα^i∥2
(2)
step4:输出测试样本
y
的label:
式(1)中,对于稀疏编码向量的约束采用
L1−norm
,逼近残差则采用
L2−norm
进行约束,在进行分析之前,先介绍一下对重构残差和稀疏系数的约束有什么意义。
当残差约束为
L2−norm
来说成为传统稀疏表示(S-SRC),即
α^=argminα{∥y−Xα∥2+λ∥α∥1}
;
当约束为
L1−norm
来说称为鲁棒稀疏表示(R-SRC),即
α^=argminα{∥y−Xα∥1+λ∥α∥1}
,这是因为
L1−norm
对于遮挡或噪声来说具有鲁棒性。而稀疏系数的
L1−norm
约束则是保证测试样本的稀疏表示,也就是使系数向量有尽可能多的零系数。
稀疏表示(S-SRC/R-SRC)假设训练样本充足时,
Xi
为过完备寻找测试样本的稀疏解,由于测试样本未知,则由整体训练样本进行线性表示,求解稀疏解,而此时先前工作则忽略其他类别样本的协作表示作用,尤其是当出现SSS(Small smaple size)情况时,导致每类样本构成欠完备字典,稀疏性求解时正确类别也会产生较大残差,故需要由其他类别共同的部分线性表示测试样本,通俗的将就是借别人的与自己相同东西凑一凑,这就是协作表示的本质,于是协作表示把分类问题转化为哪一类奉献的最多,其他类奉献的较小,就归为哪一类。
其实由上述问题,我们可以看出稀疏表示就是协作表示的一种特殊情况,协作表示的通用模型为:
α^=argminα{∥y−Xα∥lq+λ∥α∥lp}
,很熟悉的形式了,稀疏表示就是设置
p=1
,根据是否有遮挡或者噪声,设置
q=1或2
,在张磊的协作表示论文中,介绍当为样本维数很小时稀疏性则很有效(论文中有实验证明三种范数之间的关系,请读者自行学习),但通常样本维数不会很小,故我们将
p
设置为2,构成最小二乘解形式,可以减少字典
Algorithm2:Collaborative representation for classification
step1:对样本进行归一化处理
step2:求解稀疏系数:
α^=Py
其中,
P=(XTX+λI)−1XT
step3:求解正则残差
ri=∥y=Xiαi^∥2/∥α^∥2
step4:输出测试样本label
Identity(y)=argminiri
这篇文章写的非常好,引用率非常高,协作表示在稀疏表示人脸分类工作中经常被用作改进工作,大家可以细读一下,收获会很大,张磊主页:http://www4.comp.polyu.edu.hk/~cslzhang/ 里面有很多文章和代码。