Sparse Representation

使用较少的基本信号的线性组合表示大部分的原始信号
基本信号，原子，从过完备字典中选取
过完备字典由个数超过信号维数的原子聚集而成
数据集X（行样本列属性）=A（系数矩阵，尽可能稀疏）*B（字典矩阵）
A是X的稀疏表示
字典矩阵，K个N维的列向量组成：
K>N: over-complete，最常见
K=N: complete，傅里叶变换和DCT变换
K<N: under-complete
常称“字典学习”或“稀疏编码”
寻找少量重要的系数来表示原始信号的技术被称作Sparse Coding（稀疏编码或稀疏分解）
从任意一个字典中为原始信号寻找最稀疏的表示常用的方法分类两类：
①贪婪算法，比如匹配追踪（MP）、正交匹配追踪（OMP）、弱匹配追踪（WMP）、阈值方法等；
②松弛算法，比如迭代加权最小二乘（Iterative-Reweighed-Least-Squares，IRLS）、基追踪（BP）等。
其中，贪婪算法的特点是速度快，精度相对较低；松弛算法是精度高，但速度慢。
•穷举法——NP难：
假设 的非零项数目为L(sparse level)，先令L=1，字典里的每一个原子（列向量）尝试一遍，看是否满足终止条件，共有K种组合。如果没有满足，再令L=2，再次尝试，共有K(K-1)/2种组合。还没有满足条件的，则令L=3……组合的数目呈指数增长，于是遇到了NP难问题。
•贪婪算法——Matching Pursuit
第一步，找到最接近X的原子，等效于 向量上仅取一个非零项，求出最接近的原子，保留下来；
第二步，计算误差是否满足要求，如果满足，算法停止，否则，计算出残差信号，和第一步类似，找到最接近残差向量的原子，保留下来；
第三步，调整已选向量的系数，使得 最接近X，重复第二步。
•松弛算法——Basis Pursuit，将L0问题转化为L1问题，解决的方法有很多，比如内点法、迭代收缩法等。事实上，它可以化成一个线性规划的问题，用MATLAB很容易解。
上式中第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本；第二个累加项说明了αi应该尽可能的稀疏。之所以用L1范式是因为L1范式正则化更容易获得稀疏解。具体原因参看该书11.4章或移步机器学习中的范数规则化之（一）L0、L1与L2范数。字典学习便是学习出满足上述最优化问题的字典B以及样本的稀疏表示A（A{α1，α2，…，αi}）。L1正则化常用于稀疏，可以获得稀疏解。如下图表示，L1正则化交点在轴上，所得的解一般只是在某个轴上有实数，另外的轴为0，从而最终得到稀疏解。
寻找字典的过程称为字典学习。字典学习的一个假设是字典对于指定信号具有稀疏表示。因此，选择字典的原则就是能够稀疏地表达信号。
两种方法来设计字典:
•从已知的变换基中选取，比如 DCT 、小波基等，这种方法很通用，但是不能自适应于信号。
学习字典，即通过训练和学习大量的与目标数据相似的数据来获得。这里，我们介绍一种叫K-SVD的方法
字典学习算法理论包含两个阶段：字典构建阶段（Dictionary Generate）和利用字典（稀疏的）表示样本阶段（Sparse coding with a precomputed dictionary）。这两个阶段（如下图）的每个阶段都有许多不同算法可供选择，每种算法的诞生时间都不一样，以至于稀疏字典学习的理论提出者已变得不可考。笔者尝试找了Wikipedia和Google Scolar都无法找到这一系列理论的最早发起人。

字典学习好处
1 实质上是对于庞大数据集的一种降维表示；
2 正如同字是句子最质朴的特征一样，字典学习总是尝试学习蕴藏在样本背后最质朴的特征（假如样本最质朴的特征就是样本最好的特征）.
稀疏表示的本质：用尽可能少的资源表示尽可能多的知识，这种表示还能带来一个附加的好处，即计算速度快。我们希望字典里的字可以尽能的少，但是却可以尽可能的表示最多的句子。这样的字典最容易满足稀疏条件。也就是说，这个“字典”是这个“稀疏”私人订制的。
稀疏表达有两点好处：

1. 省空间；
2. 奥卡姆剃刀说：如果两个模型的解释力相同，选择较简洁的那个。稀疏表达就符合这一点。

好处：
•稀疏性是DFT、WT和SVD分解得以广泛利用的原因之一，这些变换的目的都是为了反映信号的确定性结构，并用紧凑的或稀疏的表示来表征这些结构；
•稀疏表示的思想为模式分类方法建立了基础，比如SVM和RVM，其中稀疏性直接与估计函数（estimator）的学习能力有关。
•稀疏表示解决的问题主要集中在：
•图像去噪（Denoise），代表性paper：Image Denoise Via Sparse and Redundant Representations Over Learned Dictionaries(Elad M. and Aharon M. IEEE Trans. on Image Processing,Dec,2006);Image Sequence Denoising Via Sparse and Redundant Representations(Protter M. and Elad M.IEEE Trans. on Image Processing,Jan,2009)；
•超分辨率重建（Super-Resolution OR Scale-Up），代表性paper：Image Super-Resolution via Sparse Representation（Jianchao Yang, John Wright, Thomas Huang, and Yi Ma，IEEE Transactions on Image Processing, Nov,2010）,A Shrinkage Learning Approach for Single Image Super-Resolution with OvercompleteRepresentations( A. Adler, Y. Hel-Or, and M. Elad,ECCV,Sep,2010);
另外还有inpaintting，deblurring，compression等等…更多应用参考Elad M的书。