深度学习之稀疏编码小知识

1.稀疏理论最早由Olshausen与Field在Nature上发表论文提出，将稀疏编码解释为诸多生物传感信息系统信息处理的基本策略，并从自然图像中学习出与哺乳动物处理视觉皮层神经元具有类似特性的基函数。此后，该理论得到了长足发展，并逐步成为声音和图像信号处理、压缩感知等领域的研究热点。
2.稀疏表征理论在故障诊断中应用的优势在于其对信号内部不同成分结构和形态细节的高度表征和提取能力。
3.降低稀疏分解复杂度的方法：基于贪婪算法的匹配追踪（MP），基于L1范数的基追踪（BP），以及MOF、BOB、FOCUSS等，其中最常用的就是匹配追踪和基追踪。
4.匹配追踪采用能够求解局部最优解的贪婪算法，其每一次迭代过程使用原始信号或残余信号跟冗余字典所有原子做内积，从字典中选择最能匹配信号结构的一个原子而构建的一种逼近过程。
5.基追踪是通过最小化l1范数，将其转化为等价的线性规划问题求得全局最优解的算法。
6.基追踪能得到比匹配追踪更稀疏的解，但匹配追踪算法实现简单，灵活性较大。
7.BP不只是神经网络，也是基追踪。