机器学习中的稀疏表示与字典学习

当样本具有稀疏表达形式时，对学习任务来说会有不少好处。例如线性支持向量机之所以能在文本数据上有很好的性能，恰是由于文本数据在使用字频表述后具有高度的稀疏性，使得大多数的问题变得线性可分。同时，稀疏样本并不会造成存储上的巨大负担，因为系数矩阵 已有很多高效的存储方法。

那么，若给定数据集 D  是稠密的，即普通非稀疏数据，能否将其转化为“稀疏表示”形式，从而享有稀疏性所带来的好处呢？这是我们想要学习出一个“字典”，为普通稠密表达的样本找到合适的字典，从而将样本转化为合适的稀疏表示形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为“字典学习”。（-周志华先生《机器学习》）