图像的稀疏表示
首先,对于稀疏表示这个问题,我们需要首先了解这些概念:
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xwRhpfDU-1643717051857)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1643711232505.png)]
写这个博客,主要是为了学习这篇博客遇到的问题进行一些记录。
过完备字典与完备字典的区别,过完备字典的生成方式
1 如果一个字典的原子(atoms)能够张成整个信号空间或者说向量空间(就是说这个信号空间的信号(或者说向量)能够完全由这个字典里的原子来表示),那么就说这个字典是完备的。
2 其实冗余字典说的就是字典的列数大于行数了,有些列向量是相关的,所以这里就出现了超完备冗余字典与非超完备冗余字典。
3 那什么是超完备冗余字典呢?就是此冗余字典的列向量(原子atoms)能够张成此维度的整个向量空间。
L0范数
L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话,就是希望W的大部分元素都是0。 正是L0范数的这个属性,使得其非常适合机器学习中稀疏编码,特征选择的应用。通过最小化L0范数,来寻找最少最优的稀疏特征项。但不幸的是,L0范数的最小化问题在实际应用中是NP难问题。因此很多情况下,L0优化问题就会被relaxe为更高维度的范数问题,如L1范数,L2范数最小化问题。
L1 L2 正则化,介绍了梯度下降过程中,正则化参数的应用。说明了L1利于特征选择和L2利于过拟合问题的原因。
RIP
有效等距RIP的理解 说明了为什么需要RIP及其性质