机器学习强基计划9-1：图解匹配追踪(MP)与正交匹配追踪(OMP)算法

0 写在前面

机器学习强基计划聚焦深度和广度，加深对机器学习模型的理解与应用。“深”在详细推导算法模型背后的数学原理；“广”在分析多个机器学习模型：决策树、支持向量机、贝叶斯与马尔科夫决策、强化学习等。强基计划实现从理论到实践的全面覆盖，由本人亲自从底层编写、测试与文章配套的各个经典算法，不依赖于现有库，可以大大加深对算法的理解。

🚀详情：机器学习强基计划(附几十种经典模型源码)

---

1 稀疏表示与稀疏编码

类比真实的《现代汉语字典》，其中约有3500个常用字，而一篇文档可能只使用了其中15%的字，若将每个文档看作一个样本，每个字作为一个特征，字在文档中出现的频率作为特征取值，那么一篇文档的特征向量约有85%的零元素。但不同主题的文档使用的主要词汇可能相差很大(比如古风诗词和科幻小说)，导致稀疏分布不同

因此稀疏表示不会掩盖真实特征，相反，甚至可能使困难的学习问题变得线性可分，而且得益于计算机科学对稀疏矩阵的研究，稀疏化使机器学习在计算和存储方面更高效

那这里稠密和稀疏的概念与维数灾难有什么关系呢？

机器学习任务中通常面临高维特征空间，若特征维数为40，则要实现密采样就需要