协作表示PK稀疏表示

　　上篇文章介绍了基于稀疏表示的人脸，相对先前的人脸识别方法具有重大突破进展，其核心思想：通过训练样本对测试样本进行线性表示，使用$L_{1}-norm$求解稀疏系数，最后，利用残差对测试样本进行分类判别。SRC（Sparse Representation for classification）突出的是表示中的稀疏性是识别率提高的关键点，然而有关学者在进行研究过程中发现，稀疏性并不是真正的决定性点，提出类别之间的协作表示在分类中的重要性，本文从协作表示和稀疏表示之间的关系出发，介绍其中的异同点。
　　参考文章：Lei Zhang, Meng Yang, Xiangchu Feng. Sparse Representation or Collaborative Representation: Which Helps Face Recognition?

---

　　Algorithm1: Sparse Representation for Classifiaction
　　step1：对训练样本和测试样本进行单位$L_{2}-norm$归一化
　　step2：使用训练样本对测试样本进行系数编码：
　　　　　　　　　　　$\hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{2}^{2}+\lambda \left \| \alpha \right \|_{1} \right \}$ 　　　　　　　(1)
　　step3：根据编码系数求解每类样本残差：
　　　　　　　　　　　　　　　　$r_{i}=\left \| y-X_{i} \hat{\alpha}_{i} \right \|_{2}$　　　　　　　　　　　　　(2)
　　step4：输出测试样本$y$的label：
　　　　　　　　　　　　　　$identity(y)=argmin_{i}{r_{i}}$ 　　　　　　　　　　　(3)
式(1)中，对于稀疏编码向量的约束采用$L_{1}-norm$，逼近残差则采用$L_{2}-norm$进行约束，在进行分析之前，先介绍一下对重构残差和稀疏系数的约束有什么意义。
　　当残差约束为$L_{2}-norm$来说成为传统稀疏表示(S-SRC)，即$\hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{2}+\lambda \left \| \alpha \right \|_{1} \right \}$ ；
　　当约束为$L_{1}-norm$来说称为鲁棒稀疏表示(R-SRC)，即$\hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{1}+\lambda \left \| \alpha \right \|_{1} \right \}$，这是因为$L_{1}-norm$对于遮挡或噪声来说具有鲁棒性。而稀疏系数的$L_{1}-norm$约束则是保证测试样本的稀疏表示，也就是使系数向量有尽可能多的零系数。
　　稀疏表示（S-SRC/R-SRC）假设训练样本充足时，$X_{i}$为过完备寻找测试样本的稀疏解，由于测试样本未知，则由整体训练样本进行线性表示，求解稀疏解，而此时先前工作则忽略其他类别样本的协作表示作用，尤其是当出现SSS（Small smaple size）情况时，导致每类样本构成欠完备字典，稀疏性求解时正确类别也会产生较大残差，故需要由其他类别共同的部分线性表示测试样本，通俗的将就是借别人的与自己相同东西凑一凑，这就是协作表示的本质，于是协作表示把分类问题转化为哪一类奉献的最多，其他类奉献的较小，就归为哪一类。
　　其实由上述问题，我们可以看出稀疏表示就是协作表示的一种特殊情况，协作表示的通用模型为：$\hat{\alpha}=\arg min_{\alpha }\left \{ \left \|y-X\alpha \right \|_{l_{q}}+\lambda \left \| \alpha \right \|_{l_{p}} \right \}$ ，很熟悉的形式了，稀疏表示就是设置$p=1$，根据是否有遮挡或者噪声，设置$q=1或2$，在张磊的协作表示论文中，介绍当为样本维数很小时稀疏性则很有效（论文中有实验证明三种范数之间的关系，请读者自行学习），但通常样本维数不会很小，故我们将$p$设置为2，构成最小二乘解形式，可以减少字典$X$欠完备时求得稳定解，$L_{2}-norm$相对$L_{1}-norm$有较弱的稀疏性，但是在求解时，复杂度却减少很多。
　　Algorithm2：Collaborative representation for classification
　　step1：对样本进行归一化处理
　　step2：求解稀疏系数：
　　　　　　　　　　　　　　　$\hat{\alpha}=Py$
其中，$P=(X^{T}X+\lambda I)^{-1}X^{T}$　
　　step3：求解正则残差　
　　　　　　　　　　　　　$r_{i}=\left \| y=X_{i}\hat{\alpha _{i}}\right \|_{2}/\left \| \hat{ \alpha} \right \|_{2}$　
　　step4：输出测试样本label
　　　　　　　　　　　　　$Identity(y)=\arg min_{i}{r_{i}}$
　　这篇文章写的非常好，引用率非常高，协作表示在稀疏表示人脸分类工作中经常被用作改进工作，大家可以细读一下，收获会很大，张磊主页：http://www4.comp.polyu.edu.hk/~cslzhang/ 里面有很多文章和代码。