基于稀疏表示的分类方法 Sparse Representation based Classification Method

文章来源 Jia K, Chan T H, Ma Y. Robust and practical face recognition via structured sparsity[J]. Computer Vision–ECCV 2012, 2012: 331-344.

Highlight

• 作为一种 sparse representation based classification method（SRC） 分类方法，利用训练集中图像的稀疏线性表示 testing image，加上稀疏误差项对于图像线性表示误差进行补偿，从而在此基础上进行对应类别的判断。
• 传统的 SRC 方法中，认为稀疏线性表示的误差项是 pixel-wise sparse （以 L1范数的形式建模），但是在实际情况中常常是以一定的结构稀疏地分布在图像中，因此将 structured sparsity-inducing norm 引入 SRC 框架中对于误差项进行建模。

Related Work

• 传统基于稀疏表示的分类识别方法
  
  A 矩阵是所有 subject 内的所有图像，可以通过上式重构出稀疏表示系数 x 和稀疏误差 e。

• 处理训练集图像和 testing 图像未配准问题
  
  y’ 是没有对准的 testing image， 是对应的空间变换。需要注意的是 y’ 依次对准于 每个 subject Ak 而不是直接和整个 训练集 A，这是因为优化问题的较为困难。

空间结构相关的 稀疏正则化方式

• Group LASSO
  将变量拆分成 disjoint groups ，但是这些 disjoint groups 存在的问题在于类似的空间结构在正则化时就被固定下来了，不能准确灵活地 match 精细的 error term 在实际情况下。 这种正则化方式在 group 层面提高稀疏性能，使得同样一个 group 内变量同时为 0/非0

• Structured sparsity-inducing norm
  通过将变量拆分成 overlapping groups，虽然还是 pre-fixed 结构， structured sparsity-inducing norm 能够引入更加精细的结构。 特别地，本文采用层次化的树形结构稀疏项，具体来说，这种结构稀疏项的每个 overlapping groups 是具有不同大小的 patch，且每个 group 对应 tree 结构中的一个节点。同样的此类问题采用 ALM 方法求解，其中需要注意的是因为结构稀疏项会造成最邻近问题 proximal problem，这个问题还是可以通过二次最小流问题求解得到（详解见上篇博文~）。
  
  因此通用的 树形结构化稀疏范数 可以表示为 可以看到这个范数也是对每个 group 进行 p范数，最后将这些 overlapping group 的 p范数相加（有点 2,1范数的意思。在这儿我们采用 无穷范数。

利用结构稀疏性进行分类

1. 首先将 testing image 进行稀疏表示（error term 采用结构稀疏性）
   或者 subject-wise 的方法
   这种方法能够较好的建模 within-class 误差，能够衡量 testing image 在每一个 subject 的 match 程度，这个指标在分类任务中更加重要。求解关于 结构稀疏项引入的最邻近问题，可以通过二次最小流方法解决。

2. 分类准则
   
   这个分类准则是对应于稀疏表示 (L1-Lstruct) 分类方法。其中 表示稀疏系数 x 对应于 第k个 subject 的部分，因此 testing image 属于的类别 y 可以通过残差项得到。

   
   这个分类准则是对应于稀疏表示 (Lstruct) 的分类方法。这种 subject-wise 的方法不再适用于之前提到的分类准则，因此一种自然地想法就是直接比较对于每一类的 误差项，误差项越小就代表属于该类的可能性越大。

   基于误差项 的 support set 区域来进行分类：

3. 简单校正
   
   对于形变量而言是 非凸问题，但是可以由某种方法得到关于形变量的 很好的 initial 值（这也就是很直观的解决非凸问题的方法，确保初始值就是在最优值附近），因此只需要考虑迭代更新步长即可：
   

总结

文章采用了一种基于稀疏表示的分类方法，通过对误差项的树状结构稀疏性正则化使得稀疏表示的准确性得到提升，从而进一步的提高分类精度。