稀疏表示与字典学习

1、问题—稀疏表示

假设我们用一个M*N的矩阵表示数据集X，每一行代表一个样本，每一列代表样本的一个属性，一般而言，该矩阵是稠密的，即大多数元素不为0。
稀疏表示的含义是，寻找一个系数矩阵A（K*N）以及一个字典矩阵B（M*K），使得B*A尽可能的还原X，且A尽可能的稀疏。A便是X的稀疏表示。

为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）”，这两个名称稍有差别，“字典学习”更侧重于学得字典的过程，“稀疏编码”则更侧重于对样本进行稀疏表达的过程。由于两者通常是在同一个优化求解过程中完成的，在这里不作进一步区分，笼统的称为“字典学习”。
给定数据集X{x1,x2,…,xm},字典学习最简单的表示为

其中，xi为第i个样本，B为字典矩阵，alpha_i为xi的稀疏表示，lamda为大于0参数。

上式中第一个累加项说明了字典学习的第一个目标是字典矩阵与稀疏表示的线性组合尽可能的还原样本&#x