彬彬有礼的专栏

本次说三个问题：1、稀

压缩采样匹配追踪(CompressiveSampling MP)是D. Needell继ROMP之后提出的又一个具有较大影响力的重构算法。CoSaMP也是对OMP的一种改进，每次迭代选择多个原子，除了原子的选择标准之外，它有一点不同于ROMP：ROMP每次迭代已经选择的原子会一直保留，而CoSaMP每次迭代选择的原子在下次迭代中可能会被抛弃。

鉴于前面所述大部分OMP及其前改算法都需要已知信号的稀疏度K，而在实际中这个一般是不知道的，基于此背景，稀疏度自适应匹配追踪(Sparsity Adaptive MP)被提出。读几遍SAMP的被提出的参考文献[1]的题目：Sparsity adaptive matching pursuit algorithm for practical compressed sensing，注意后面的“for practical compressed sensing”，这也就解释了很多网友的疑问，程序中的信号直接假设是稀疏

分段弱正交匹配追踪(StagewiseWeak OMP)可以说是StOMP的一种改进算法，它们的唯一不同是选择原子时的门限设置，这可以降低对测量矩阵的要求。我们称这里的原子选择方式为“弱选择”（Weak Selection），详见文献[1]的第3部分“III. STAGEWISE WEAK ELEMENTSELECTION”。以下内容结构安排包括代码都参考了《压缩感知重构算法之分段正交匹配追踪(StOMP)》。

题目：压缩感知重构算法之正则化正交匹配追踪(ROMP)        正交匹配追踪算法每次迭代均只选择与残差最相关的一列，自然人们会想：“每次迭代是否可以多选几列呢?”，正则化正交匹配追踪(RegularizedOMP)就是其中一种改进方法。本篇将在上一篇《压缩感知重构算法之正交匹配追踪(OMP)》的基础上给出正则化正交匹配追踪(ROMP)算法的MATLAB函数代码，并且给出单次测试例程代码、测量

如果掌握了压缩采样匹配追踪(CoSaMP)后，再去学习子空间追踪(Subspace Pursuit)是一件非常简单的事情，因为它们几乎是完全一样的。 SP的提出时间比CoSaMP提出时间略晚，首个论文版本是参考文献[1]，后来更新了两次，最后在IEEETransactions on Information Theory发表[2]。从算法角度来讲，SP与CoSaMP差别非常小，这一点作者也意识到了，在文献[1]首页的左下角就有注释：

题目：正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同        如果研究了稀疏分解再来研究压缩感知可能会有一个疑惑：在稀疏分解中有一个OMP算法，在压缩感知的重构算法中也有一个OMP算法，它们有什么区别和联系呢？        其实它们都是一样子的！        从数学模型来入手分析这个问题：        1）稀疏分解要解决的问题是在冗余字典A中选出k列，用这k

上一篇《稀疏表示与匹配追踪》中详细的解释了匹配追踪（Matching Pursuit，MP）的流程，在最后给出了正交匹配追踪（Orthogonal Matching Pursuit，OMP）的流程，并指出OMP与MP的不同根本在于残差更新过程：OMP减去的Pem是在所有被选择过的原子组成的矩阵φt所张成空间上的正交投影，而MP减去的Pem是在本次被选择的原子φp所张成空间上的正交投影。正交投影及正交投影变换矩阵的概念可以参见《压缩感知中的数学知识：投影矩阵（projectionmatrix）》。

题目：为什么正交匹配追踪(OMP)一定能恢复信号？        上一篇《正交匹配追踪(OMP)在稀疏分解与压缩感知重构中的异同》中提到：你怎么知道通过OMP等重构算法求出的θ就是原来的x=Ψθ中的那个θ呢？为什么通过OMP迭代后一定会选出矩阵A的那几列呢？会不会选择A的另外几列，它们的线性组合也满足y=Aθ？本篇来回答这个问题。        首先我们要知道，两个k稀疏的N维信号（长

如果研究压缩感知重构算法，那么匹配追踪绝对是一个绕不过去的概念，虽然最原始的匹配追踪算法应用于重构的文献并不多，但基于匹配追踪改进后的正交匹配追踪算法在研究压缩感知的人群中可以说是家喻户晓、人尽皆知的。既然匹配追踪是与重构有关的，为什么本篇取名为《稀疏表示与匹配追踪》呢？一个重构算法与稀疏表示有什么关系？一般文献中讲到匹配追踪所引参考文献均为文献[1]，而文献[1]就是在讲解基于匹配追踪算法的信号稀疏表示问题，这到底是怎么回事呢？（我想一个没有做过稀疏表示的人直接来学习研究压缩感知应该会有此问吧，比如说本人

广义正交匹配追踪(Generalized OMP, gOMP)算法可以看作为OMP算法的一种推广，由文献[1]提出，第1作者本硕为哈工大毕业，发表此论文时在Korea University攻读博士学位。OMP每次只选择与残差相关最大的一个，而gOMP则是简单地选择最大的S个。之所以这里表述为“简单地选择”是相比于ROMP之类算法的，不进行任何其它处理，只是选择最大的S个而已。我很好奇：为什么相比于OMP算法就是简单每次多选几列，重构效果为什么这么好？居然比复杂的ROMP、CoSaMP、StOMP效果还要好…

本想把查到的有关OMP的改近算法都详细的仿真一遍，但发现实在是太多了，没有时间一个一个的去仿真。所以这里介绍了自己查到的国内有关OMP的10种改近算法。透过这10种算法，应该可以找出写论文的一点儿规律吧：我们基于OMP算法，有对原子正则化的ROMP、有使用回溯思想的CoSaMP和SP、有采用门限选择选子的StOMP及弱选择标准的SWOMP、还有稀疏度自适应的SAMP，以及我们国内改近算法中引入的稀疏度估计方法、变步长判断标准等等，所以尽情的把这些方法进行排列组合再加入自己的一些新想法得出新的改进算法吧……

题目：压缩感知中的数学知识：凸优化

题目：压缩感知重构算法之迭代软阈值(IST)        看懂本篇需要有以下两篇作为基础：(1)软阈值(Soft Thresholding)函数解读   (2)Majorization-Minimization优化框架。 彻底理解了迭代硬阈值IHT以后，很自然的会想到：如果将软阈值(Soft Thresholding)函数与Majorization-Minimization优化框架相结合形成迭代软阈值(Iterative Soft Thresholding，IST)算法（另一种常见简称为

题目：IST改进算法之Two-StepIterativeShrinkage/Thresholding(TwIST)        本篇介绍IST的一种改进算法TwIST，该改进算法由以下文献提出：Bioucas-DiasJ M, Figueiredo M AT.A new TwIST: two-step iterative shrinkage/thresholding algorithms

本篇是对压缩感知重构算法之迭代软阈值(IST)的延续，可能需要以下基础：软阈值(Soft Thresholding)函数和硬阈值(Hard Thresholding)函数。 前面我们在讨论迭代软阈值算法时提到，一般文献中出现的IST或ISTA简称中的“S”并非指的是“soft”，而是“shrinkage”，即“Iterative Shrinkage/ThresholdingAlgorithm”，那么IterativeSoft Thresholding和Iterative Shrinkage/

本篇来介绍IHT重构算法。一般在压缩感知参考文献中，提到IHT时一般引用的都是文献【1】，但IHT实际上是在文献【2】中提出的。IHT并不是一种凸优化算法，它类似于OMP，是一种迭代算法，但它是由一个优化问题推导得到的。文献【1】和文献【2】的作者相同，署名单位为英国爱丁堡大学(University ofEdinburgh)，第一作者的个人主页见参考文献【3】，从个人主页来看，作者现在已到英国南安普敦大学(University of Southampton)，作者发表的论文均可以从其个人主页中下载。

题目：迭代硬阈值(IHT)的补充说明        本篇是对压缩感知重构算法之迭代硬阈值(IHT)的一个补充。        学完IHT后，近期陆续学习了硬阈值(hard Thresholding)函数和Majorization-Minimization(MM)优化框架，对IHT有了一些新的和深入的理解，补充一下。1、真正的迭代硬阈值(IHT)算法        这里直接说的是

题目：压缩感知重构算法之基追踪(Basis Pursuit, BP)        除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(Basis Pursuit, BP)，该方法提出使用l1范数替代l0范数来解决最优化问题，以便使用线性规划方法来求解[1]。

本篇介绍压缩感知重构算法GraDes(GradientDescent with Sparsification)，该算法是在文献【GargR, Khandekar R. Gradient descent with sparsification: an iterative algorithmfor sparse recovery with restricted isometry property[C]//Proceedings of the26th Annual International Conference

题目：使用l1-magic工具箱求解基追踪(BP)和基追踪降噪(BPDN)        基追踪(Basis Pursuit, BP)和基追踪降噪(Basis PursuitDe-Noising, BPDN)都不能称为是具体的算法，实际上分别是求解一个优化问题：基追踪：基追踪降噪：        BP和BPDN可以由多种优化求解方法去解。为了求解这两个优

本篇来探讨基追踪降噪(Basis Pursuit De-Noising, BPDN)，与基追踪不同之处在于，基追踪降噪在模型中考虑到了噪声的存在，而这在实际中是非常有意义的。因为考虑到了噪声，所以不同于BP的最优化模型可以转化为线性规划问题，BPDN的最优化模型可以转化为二次规划问题。

题目：压缩感知重构算法之正交匹配追踪(OMP)        前面经过几篇的基础铺垫，本篇给出正交匹配追踪(OMP)算法的MATLAB函数代码，并且给出单次测试例程代码、测量数M与重构成功概率关系曲线绘制例程代码、信号稀疏度K与重构成功概率关系曲线绘制例程代码。

题目：压缩感知测量矩阵之如何评价一个测量矩阵的好坏？一、引入        前面的《压缩感知的常见测量矩阵》中已经给出了常见测量矩阵的MATLAB代码，似乎到此测量矩阵学习可以告一段落了，但若是专业研究压缩感知测量矩阵设计的童鞋们经常会遇到这样一个问题：我辛辛苦苦地设计了一个新型测量矩阵，那么如何证明我设计的矩阵比平常的诸如高斯矩阵、伯努利矩阵等要更好呢？        这就是

在前面一篇《压缩感知的常见稀疏基名称及离散傅里叶变换基》中集结了九篇压缩感知文献中有关稀疏基名称，并且直白地告诉大家稀疏基其实就是某种正交变换的变换矩阵列向量组成的基，最后还说了离散傅里叶变换基。对于离散傅里叶变换基前面乘了一项N的开方，这其实就是一个定标因子，为得是将变换矩阵归一化，使各个列向量组成的基为标准(规范)正交基。在这一篇里将简单介绍离散余弦变换和离散正弦变换并说明它们的基在Matlab里的生成方法。以后也就不再提“XX基”了，直接说“XX变换”吧。

小波变换中的信号扩展(延拓)问题，本篇主要是做为上一篇《压缩感知稀疏基之离散小波变换》的一个补充说明。

题目：压缩感知与Nquist抽样定理——模拟信息转换(AIC)学习总结一、引言压缩感知（CompressiveSensing, or Compressed Sensing）或译为压缩传感，或者称为压缩采样（Compressive sampling），以下统称压缩感知，简称CS。在压缩感知的有关文献中几乎都在说“压缩感知突破了传统的Nquist/Shannon抽样定理的限制，

题目：压缩感知中的数学知识：线性方程组的解====================引言====================有关“线性方程组的解”这个问题实在是太基础的一个线性代数问题，本也不想去讨论它，但近几天看麻省理工GilbertStrang的线性代数公开课，有些感触，就写写吧，因为我确实也搞不清楚“线性方程组的解”这个问题，可能当年上学时知道，但现在的确已经忘的干干净净了，而且翻

题目：科学松鼠会压缩感知科普文章两篇：“压缩感知与单像素相机(陶哲轩)”“填补空白：用数学方法将低分辨率图像变成高分辨率图像

题目：  压缩感知中的lp球：p范数最优化为什么总会导致一个稀疏的解的原因

题目：压缩感知中的数学知识：投影矩阵（projection matrix）========================背景========================

题目：压缩感知应用——单像素相机参考文献：1）

昨天真心被震撼了，也可以说被刺激了一下，想了一晚上

在前面的《压缩感知的常见稀疏基名称及离散傅里叶变换基》中提到了DWT，并没有提到离散哈特莱变换(Discrete Hartley Transform, DHT)，e但讨论正交变换理论下的稀疏基，比较常见的正交变换应该提一下的，虽然前面提到的DWT也不知道是不是指的离散W变换，因为一般情况下DWT是指的离散小波变换(DiscreteWavelet Transform, DWT)，有时也指离散沃尔什变换(Discrete WalshTransform, DWT)不管它是不是指的离散W变换吧，这里都讨论一下吧，之

看小波变换的时间超过半个月了，到今天为止终于可以得到小波变换矩阵（小波基）了，该陆续写一些总结了，这一篇给出最核心的东西：在Matlab中如何得到小波变换矩阵？我看小波变换的最终目的也是为了得到小波变换矩阵，因为小波并不是目的，看小波是为了研究压缩感知的稀疏表示。但小波变换真心不是一般的正交变换，它没有一个简单的公式可以表达，里面涉及的概念太多，一时无法吸消化。

本文是边学习边总结和摘抄各参考文献内容而成的，是一篇综述性入门文档，重点在于梳理傅里叶变换到伽柏变换再到小波变换的前因后果，对于一些概念但求多而全，所以可能会有些理解的不准确，后续计划分别再展开学习研究。通过本文可以了解到：1）傅里叶变换的缺点；2）Gabor变换的概念及优缺点；3）什么是小波；4）小波变换的概念及优点。

题目：压缩感知测量矩阵之有限等距性质（Restricted Isometry Property,RIP）        阅读压缩感知的文献，RIP绝对是一个抬头不见低头见的英文简写，也就是有限等距性质（Restricted Isometry Property, RIP），尤其是研究测量矩阵的童鞋们，这是一个几乎绕不开的术语，所以在测量矩阵这一块首先讨论一下RIP。一、RIP的定义 

题目：压缩感知测量矩阵之spark常数        除了有限等距性质RIP之外，Spark常数也是经常使用的一个评价传感矩阵的指标。文献[1]中明确提到：        在文献[2]更是以spark常数来恒量一个矩阵是否可以成为测量矩阵。一、Spark常数的定义        以上是文献[2]对spark常数的定义，将其中的式(3)和式(4)表达成一句话就是“

题目：压缩感知的常见测量矩阵        下面首先给出十篇参考文献中有关测量矩阵的叙述，然后以一篇硕士论文中对七种常见测量矩阵的描述依据，给出了这七种常见测量矩阵的MATLAB实现代码，以为以后的研究提供一个参考，由于目前还没有一个简单有效的测量矩阵评价方法，因此这里给出的七种测量矩阵的代码的正确性并没有验证。由于本人对乱引参考文献很受伤，经常按照引用的参考文献对应去找原文却找不到，所以这里

有限等距常数（RestrictedIsometry Constant, RIC）是与有限等距性质（Restricted IsometryProperty, RIP）紧密结合在一起的一个参数。在前面的一篇《压缩感知测量矩阵之有限等距性质》中已经给出了RIC的定义【1】：        S阶RIP性质只要要求0S就可以了，而RIC是指满足RIP的最小δS。        在网上偶然