压缩感知重构算法之基追踪(Basis Pursuit, BP)

最新推荐文章于 2022-04-04 23:59:18 发布
最新推荐文章于 2022-04-04 23:59:18 发布
阅读量4.7k 收藏 20
点赞数 1

题目：压缩感知重构算法之基追踪(Basis Pursuit, BP)

        除匹配追踪类贪婪迭代算法之外，压缩感知重构算法另一大类就是凸优化算法或最优化逼近方法，这类方法通过将非凸问题转化为凸问题求解找到信号的逼近，其中最常用的方法就是基追踪(Basis Pursuit, BP)，该方法提出使用l1范数替代l0范数来解决最优化问题，以便使用线性规划方法来求解[1]。本篇我们就来讲解基追踪方法。

        理解基追踪方法需要一定的最优化知识基础，可参见最优化方法分类中的内容。

1、l1范数和l0范数最小化的等价问题

        在文献【2】的第4部分，较为详细的证明了l1范数与l0范数最小化在某条件下等价。证明过程是一个比较复杂的数学推导，这里尽量引用文献中的原文来说明。

        首先，在文献【2】的4.1节，给出了(P1)问题，并给出了(P1)的线性规划等价形式(LP)，这个等价关系后面再详叙。

        然后在文献【2】的4.2节直接谈到l1和l0最小化的关系，先是定义了压缩感知要解决的(P0)问题，然后指出“当(P0)有一个稀疏解，(P1)会找到这个解”，若并在Theorem 8中以定理形式指出“(P0)和(P1)都有相同的惟一解”。

        接下来是一段为了证明Theorem 8过渡性的描述，里面提到l1和l0最小化的等价问题已经有很多文献了。


        为了证明Theorem 8，引入了一个引理Lemma4.1 ：

        证明完Lemma 4.1后，开始证明Theorem 8 ：


        证明过程还是比较复杂的，有兴趣的好好学习研究一下吧。

2、基追踪实现工具箱l1-MAGIC

        若要谈基追踪方法的实现，就必须提到l1-MAGIC工具箱（工具箱主页：http://users.ece.gatech.edu/~justin/l1magic/），在工具箱主页有介绍：L1-MAGIC is a collection of MATLAB routines for solving the convexoptimization programs central to compressive sampling. The algorithms are basedon standard interior-point methods, and are suitable for large-scale problems.

        另外，该工具箱专门有一个说明文档《l1-magic: Recovery of Sparse Signals via Convex Programming》，可以在工具箱主页下载。

        该工具箱一共解决了七个问题，其中第一个问题即是Basis Pursuit ：

        工具箱中给出了专门针对(P1)的代码l1eq_pd.m，使用方法可以参见l1eq_example.m，说明文档的3.1节也进行了介绍。

        在附录A中，给出了将(P1)问题转化为线性规划问题的过程，但这个似乎并不怎么容易看明白：


3、如何将(P1)转化为线性规划问题？

        尽管在l1-MAGIC给出了一种基追踪的实现，但需要基于它的l1eq_pd.m文件，既然基追踪是用线性规划求解，那么就应该可以用MATLAB自带的linprog函数求解，究竟该如何将(P1)转化为标准的线性规划问题呢？我们来看文献【3】的介绍：


        这里，文献【3】的转化说明跟文献【2】中4.1节的说明差不多，但对初学者来说仍然会有一定的困难，下面我们就以文献【3】中的符号为准来解读一下。

        首先，式(3.1)中的变量a没有非负约束，所以要将a变为两个非负变量u和v的差a=u-v，由于u可以大于也可以小于v，所以a可以是正的也可以是负的[4]。也就是说，约束条件Φa=s要变为Φ(u-v)=s，而这个还可以写为[Φ,-Φ][u;v]=s，更清晰的写法如下：

        然后，根据范数的定义，目标函数可进一点写为：

        目标函数中有绝对值，怎么去掉呢？这里得看一下文献【5】：

        到现在一切应该都清晰明白了，总结如下：

        问题可以转化为线性规划问题，其中：

求得最优化解x0后可得变量a的最优化解a0=x0(1:p)-x0(p+1:2p) 。

4、基于linprog的基追踪MATLAB代码(BP_linprog.m)

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. function [ alpha ] = BP_linprog( s,Phi )  
  2. %BP_linprog(Basis Pursuit with linprog) Summary of this function goes here  
  3. %Version: 1.0 written by jbb0523 @2016-07-21   
  4. %Reference:Chen S S, Donoho D L, Saunders M A. Atomic decomposition by  
  5. %basis pursuit[J]. SIAM review, 2001, 43(1): 129-159.(Available at:   
  6. %http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.37.4272&rep=rep1&type=pdf)  
  7. %   Detailed explanation goes here  
  8. %   s = Phi * alpha (alpha is a sparse vector)    
  9. %   Given s & Phi, try to derive alpha  
  10.     [s_rows,s_columns] = size(s);    
  11.     if s_rows<s_columns    
  12.         s = s';%s should be a column vector    
  13.     end   
  14.     p = size(Phi,2);  
  15.     %according to section 3.1 of the reference  
  16.     c = ones(2*p,1);  
  17.     A = [Phi,-Phi];  
  18.     b = s;  
  19.     lb = zeros(2*p,1);  
  20.     x0 = linprog(c,[],[],A,b,lb);  
  21.     alpha = x0(1:p) - x0(p+1:2*p);  
  22. end  

5、基追踪单次重构测试代码(CS_Reconstuction_Test.m)

        测试代码与OMP测试单码相同，仅仅是修改了重构函数。

[plain]  view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. %压缩感知重构算法测试    
  2. clear all;close all;clc;    
  3. M = 64;%观测值个数    
  4. N = 256;%信号x的长度    
  5. K = 10;%信号x的稀疏度    
  6. Index_K = randperm(N);    
  7. x = zeros(N,1);    
  8. x(Index_K(1:K)) = 5*randn(K,1);%x为K稀疏的，且位置是随机的    
  9. Psi = eye(N);%x本身是稀疏的，定义稀疏矩阵为单位阵x=Psi*theta    
  10. Phi = randn(M,N);%测量矩阵为高斯矩阵    
  11. A = Phi * Psi;%传感矩阵    
  12. y = Phi * x;%得到观测向量y    
  13. %% 恢复重构信号x    
  14. tic    
  15. theta = BP_linprog(y,A);    
  16. x_r = Psi * theta;% x=Psi * theta    
  17. toc    
  18. %% 绘图    
  19. figure;    
  20. plot(x_r,'k.-');%绘出x的恢复信号    
  21. hold on;    
  22. plot(x,'r');%绘出原信号x    
  23. hold off;    
  24. legend('Recovery','Original')    
  25. fprintf('\n恢复残差：');    
  26. norm(x_r-x)%恢复残差   

        运行结果如下：（信号为随机生成，所以每次结果均不一样）

         1）图：

2）Command Windows

Optimization terminated.

Elapsed time is 0.304111 seconds.

恢复残差：

ans =

  6.5455e-010

6、结束语

        值得一提的是，基追踪并不能称为一个具体的算法，而是一种最优化准则，文献【3】对此进行了明确的说明，基追踪实现方法可以使用单纯形法(simplex algorithm)，也可以使用内点法(interior-pointmethods)， 因此，有些文献里说凸松弛算法包括基追踪、内点法等，个人感觉这是不恰当的，因为内点法只是基追踪的一种实现形式而己，再说了，内点法也有很多种实现方法……

        本文实现方法基于MATLAB自带的线性规划函数linprog，当然也可以采用l1-magic中的l1eq_pd.m，有兴趣的可以做一下对比。

7、参考文献

【1】李珅, 马彩文, 李艳, 等. 压缩感知重构算法综述[J]. 红外与激光工程, 2013, 42(S01): 225-232.

【2】Donoho D L. Compressedsensing[J]. IEEE Transactions on information theory, 2006, 52(4):1289-1306. (Available at: http://www.signallake.com/innovation/CompressedSensing091604.pdf)

【3】Chen S S, Donoho D L,Saunders M A.Atomicdecomposition by basis pursuit[J]. SIAM review, 2001, 43(1): 129-159. (Availableat:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.37.4272&rep=rep1&type=pdf)

【4】孙文瑜, 徐成贤, 朱德通.最优化方法(第二版)[M]. 北京:高等教育出版社, 2010：49-51.

【5】L1范数优化的线性化方法如何证明？ 链接：http://www.zhihu.com/question/21427075

Aruen24
关注
  • 1
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
压缩感知的图像仿真（MATLAB源代码）
计算机视觉之光
02-21 1367
压缩感知是一种用于高效获取和表示信号的技术，它可以显著减少数据的采样和传输量，同时保持对信号的高质量恢复能力。在压缩感知中，信号被表示为其在一个稀疏基中的稀疏线性组合。通过仅使用少量的随机投影测量，就能够捕捉信号的大部分信息，并且可以利用优化方法恢复原始信号。MATLAB是一种功能强大的数值计算和科学编程工具，它提供了丰富的工具箱和函数来支持压缩感知的仿真和实现。其中一个常用的工具是l1_image软件包，它提供了一种基于l1范数最小化的方法，用于压缩感知图像恢复。
基追踪算法 matlab,什么是基追踪算法?基于改进基追踪方法的信号去噪 - 全文
weixin_36218209的博客
03-22 2244
什么是基追踪算法基追踪(basis pursuit)算法是一种用来求解未知参量L1范数最小化的等式约束问题的算法。基追踪是通常在信号处理中使用的一种对已知系数稀疏化的手段。将优化问题中的L0范数转化为L1范数的求解就是基追踪的基本思想。比如我原先有一个优化问题：min ||x||_0(就是L0范数的最小值)subject to y=Ax。这个||x||_0，就是表示x中有多少个非零元素；那么我们要...
凸优化之基追踪
weixin_30894389的博客
01-23 871
关于基追踪（BP），在压缩感知重构中我们所待求解的问题是L0范数问题，因为L1范数与L0范数等价，所以将L0范数转换为L1范数问题来求解，基追踪是将L1范数问题转为成为线性规划问题来进行求解，博主还提到了基追踪降噪问题，是转换为二次规划问题来进行求解的，但是这类凸优化问题计算复杂度高，重构时间长，所以目前还是以贪婪算法为学习重点，附出博客以参考： [1] 彬彬有礼.压缩感知重构算法之基追...
稀疏优化L1范数最小化问题求解之基追踪准则(Basis Pursuit)——原理及其Python实现
程序必须为人类阅读而编写，并且仅仅碰巧可以让机器执行
04-04 5303
文章目录一、前言二、问题重述三、构造 ℓ1\ell_1ℓ1​ 范数四、ℓ1\ell_1ℓ1​ 范数最小化问题转换为线性规划问题五、基于linprog的基追踪Python代码六、运行测试七、总结 一、前言 本文针对压缩重构感知中的稀疏优化问题，实现了对其 L1 范数最小化问题 的求解，文章内容较长，请耐心看完，代码部分在本文第五章。 二、问题重述 考虑线性方程组求解问题： Ax=b(1) Ax = b \tag{1} Ax=b(1) 其中向量 x∈Rn×1, b∈Rm×1x \in R^{n\t
压缩感知基本概括——三大基本问题
学无止境
08-15 6079
压缩感知是对于N维的信号x，使用小的观测维数M≪N，设计一个M*N的测量矩阵Φ，得到测量结果y=ϕx，最终通过测得的y和已知的矩阵Φ来求得信号x。 x信号特点：具有稀疏性。即信号本身或者使用一组基地展开后大多数系数为0。 在压缩感知研究中主要有三个问题 1.如何找到稀疏信号或者说如何使得信号变成稀疏信号 2.找到合适的测量矩阵Φ，测量矩阵必须满足一定条件才能正确恢复信号 3.从测得的y...
基于基追踪（Basis Pursuit，BP）的局部线性嵌入(Locally Linear Embedding, LLE)降维算法（LLE-BP）
Planetar的博客
07-08 758
本博文思想出自2018年本人的毕业论文，原版论文由于我水平有限（本科毕业论文接到个科研课题，导师说是出错了，出了个她也不知道怎么做的课题，我也是无奈了），构思推导花了太多时间，使得写作时间只有三天的原因，为了应付结题验收，因此实验部分是凑数的（绝非本意），原版论文可以在这里下载点击打开链接...
L1 Magic.zip
08-12
由Emmanuel Candès and JustinRomberg等人开发的l1-magic工具箱（主页链接：http://users.ece.gatech.edu/justin/l1magic/）可以求解七类优化问题，其中(P1)问题即为基追踪，(P2)问题等价于基追踪降噪，详情可参见工具箱的说明文档[2]。
CS（压缩感知）总结
m0_51961114的博客
08-30 7518
为满足笔者自身的需求，遂写了这篇博客，目的是总结一下对压缩感知的理解！ 1.符号说明 为方便后续内容的说明，本篇博客中所说的信号均为一维信号！ 2.理论内容 2.1 压缩感知 压缩感知（Compressed Sensing，CS）指出只要信号是可压缩的或在某个变换域是稀疏的,那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上,然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号。它包含两个特性，即不相关性和欠定性，压缩感知的压缩和重构正是靠这两个性质实现的。 2.
基追踪及其实现
给永远比拿愉快
10-18 8483
基追踪我们将l1l_1范数替换l0l_0范数以后，稀疏表征模型可以表示为：min∥α∥1s.t.Φα=s\min \|\alpha\|_1 \quad \mathrm{s.t.} \; \Phi\alpha = s这是一个二次规划问题，如何将l1l_1范数优化问题转为线性规划问题呢？参考Atomic Decomposition by Basis Pursuit中的方法，可以将l1l_1范数优化问题转
压缩感知总结
qq_32790593的博客
04-27 2837
一、什么是压缩感知（CS）？ compressed sensing又称compressed sampling，CS是一个针对信号采样的技术，它通过一些手段，实现了“压缩的采样”，准确说是在采样...
基追踪算法，含去噪matlab
12-29
基追踪算法，含去噪matlab，可以直接作为库使用
l1-Magic工具箱
12-18
l1-Magic MATLAB凸优化工具箱
matlabfig生成代码-bcs:贝叶斯压缩感知和多任务压缩感知
05-26
Matlab的无花果生成代码贝叶斯压缩感知 这套Matlab（7.0）函数包含用于重现以下两篇论文的一些结果的核心代码： ，史浩（Shihao Ji），亚雪（Ya Xue）和劳伦斯·卡林（Lawrence Carin），IEEE Trans。 信号处理，第一卷56号2008年6月6日。 ，史浩（Shihao Ji），戴维·邓森（David Dunson）和劳伦斯·卡林（Lawrence Carin），IEEE Trans。 信号处理，第一卷57号1，第92-106页，2009年1月。 BCS演示 图2.m->生成图2 实施BP需要l1-magic的以下两个Matlab文件： l1qc_logbarrier.m l1qc_newton.m 可以在以下位置找到： Fig4_ab.m->生成图4（a，b） multi_random_measures.m ---->为图4a生成“随机”曲线 multi_optimized_measures.m ---->生成图4a的“ Optimized”曲线 multi_approx_measures.m ---->生成“大约”。 图4a的曲线 MT-CS演
基追踪算法
12-14
基追踪算法可用于信号的去噪，以及其他处理。最后的结果可用于故障分析等。
基追踪匹配追踪MATLAB算法
11-29
基于MATLAB算法，基追踪匹配追踪算法，稀疏分解或者压缩感知算法，应用广泛，优化求解算法等，可利于初学者有效学习
BP.zip_ADMM 压缩感知_admm_admm算法_basis pursuit
07-15
基追踪算法，用于解决压缩感知问题的经典算法，使用ADMM求解。
论文研究-基于压缩感知CoSaMP算法的精确重构.pdf
07-22
为有效解决压缩采样匹配追踪（compressive sampling matching pursuit，CoSaMP）算法对稀疏度K值的依赖问题，提高重构精度，提出了一种根据峰值信噪比增减变化趋势来确定最佳迭代次数的CoSaMP改进算法。先将PSNR算式...
ist.zip_IST_basis pursuit_基追踪问题_稀疏表示_迭代软阈值算法
07-15
解决基追踪降噪(Basis Pursuit De-Noising, BPDN)问题
压缩感知重构算法之OMP算法python实现
最新发布
03-31
压缩感知重构算法中的OMP（Orthogonal Matching Pursuit）算法是一种常用的稀疏信号重构算法。它通过迭代的方式逐步选择最相关的原子来重构信号。下面是OMP算法的Python实现示例： ```python import numpy as np def omp(A, y, k): """ OMP算法的Python实现 参数： A: 测量矩阵，形状为(m, n) y: 观测向量，形状为(m, 1) k: 稀疏度，即信号的非零元素个数 返回： x: 重构的稀疏信号，形状为(n, 1) """ m, n = A.shape residual = y.copy() # 初始化残差 support = [] # 初始化支持集合 for _ in range(k): # 计算投影系数 projections = np.abs(A.T @ residual) # 选择最相关的原子 index = np.argmax(projections) support.append(index) # 更新估计信号 x = np.linalg.lstsq(A[:, support], y, rcond=None)[0] # 更新残差 residual = y - A[:, support] @ x # 构造稀疏信号 x_sparse = np.zeros((n, 1)) x_sparse[support] = x return x_sparse ``` 使用该函数可以进行压缩感知重构，其中`A`为测量矩阵，`y`为观测向量，`k`为稀疏度。函数返回重构的稀疏信号`x_sparse`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值