Ⅲ- 关于CS--深层解析--稀疏信号重建算法

分享创新知识、改变世界！

更新：2022.7.25【1】–2022.7.30【2】–2022.8.24【3】–2022.9.30【4】–2022.11.15【5】–2022.12.15【6】

一、 压缩感知：一种新型亚采样技术

• 雷达成像中常见先验信息即稀疏性，利用稀疏性和少量观测数据以及正则化方法重建出目标场景，形成压缩感知理论。压缩感知成像中，CS侧重减少测量数据量，正则化强调结果质量的提高。压缩感知能降低采样速率及数据量，提高成像质量，测量矩阵随机性提高抗干扰能力。从逆问题求解的角度来看，压缩采样数据进行恢复原始信号也通常是病态问题，但由于目标稀疏性的先验信息，原病态问题变成良态问题。成像方面稀疏表示其一可将目标表示为特定的几何结构，如汽车可以表示为平面和二角面的组合；其二可对场景进行稀疏变化。
• 压缩感知难点：
  1）随机矩阵有利于目标重建，但随机矩阵涉及随机采样，现有体制少有随机采样雷达体制；
  2）重建过程计算量大；
  3）杂波是真实目标回波，不同于随机噪声，杂波影响目标稀疏重建；
  4）模型误差补偿；
  5）复杂场景下的稀疏表示问题，如雷达回波是具有相位和幅度信息，稀疏表示困难。
• 主要研究点：
  1）信号如何稀疏表示；
  2）怎么设计满足约束等间距的测量矩阵，要遵守RIP准则；
  （约束等间距条件即测量矩阵和稀疏表示基不相关，主要分为三类：一类是矩阵元素独立地服从某一分布，如高斯随机矩阵，伯努利随机测量矩阵，非常稀疏投影矩阵等；一类是部分傅里叶集构成的测量矩阵；另一类是根据特定的信号应用的矩阵，如托普利兹矩阵，循环矩阵，二进制稀疏矩阵，随机化矩阵等）
  3）求解非凸优化问题来重构出原始信号。（最小范数法，匹配追踪法，最小全变分法，阈值迭代法）

CS
压缩感知的研究内容主要可以分为三个部分，即信号的稀疏表示、测量矩阵的构造和重构算法。其中，重构算法作为CS技术的关键之一，影响着信号的重构复杂度和重构质量。
通俗易懂将CS
CS+SR
压缩感知：CS-Recovery-Algorithms备注：文件夹C4_CS&OMP

二、压缩感知 VS 深度学习

讨论1：请比较一下深度学习和压缩感知？
讨论2：马毅：低维模型与深度模型的殊途同归
讨论3：本质上俩问题，一定要找联系，那两者都涉及数据的稀疏表达？
讨论4：人类对 DNN 以医生熟悉的方式识别的纹理的敏感性？DL更火爆？

三、初识压缩感知雷达成像

CS难点：1）由于随机矩阵往往有利于目标重建，但是随机矩阵往往涉及到随机采样，现有体制少有随机采样雷达体制；2）重建过程计算量大；3）杂波是真实目标回波，不同于随机噪声，杂波影响目标稀疏重建；4）模型误差补偿；5）复杂场景下的稀疏表示问题，如雷达回波是具有相位和幅度信息，稀疏表示困难。

四、CS：信号的稀疏表示–测量矩阵的设计–信号的稀疏重构

介绍信号的稀疏重构的四类算法：

L1凸优化类

向量和矩阵的范数区分
形式1：稀疏向量恢复转化为L1范数凸优化问题
经典L1_SVD方法实现稀疏矩阵的DOA估计
形式2：低秩矩阵恢复（矩阵填充）凸松弛为凸问题
aSVT：低秩矩阵恢复问题背景-低秩矩阵补全-SVT-仿真-参考文献
b降低SDP算法复杂度：使用ADMM(eg混合毫米波大规模MIMO系统中任意阵列的超分辨率信道估计：ADMM优势，人工变量优化中棘手的限制条件，将目标函数降为最小二乘项形式，无论原函数是什么形式，非常易于处理)+ADMM简介（ ADMM算法优势将问题进行分布式优化，解决大规模计算问题。 通信中， 更多是把一个多变量问题进行解耦，对每个单变量进行迭代求解来简化问题本身。结合了对偶上升法的 可拆解性 和 增广拉格朗日乘数法的 易收敛性）
cSDP常用的求解办法：内点法
待续…
LI范数最小化中的RIP值得讨论，是CS重建中的核心问题？采样矩阵满足K阶RIP时，其中的任意K阶子集才几乎正交的，这一特性保证了贪婪算法的收敛性。

L0贪婪类

Compressed sampling matching tracking（OMP的改进）
1.匹配跟踪Matching Pursuit

2.正交匹配跟踪Orthogonal Matching Pursuit
上个方法解决实际问题受限，计算量随循环次数增加线性增加，使用该方法解决。
3.逐步正交匹配跟踪
当重建的目标信号不是特别稀疏而且规模较大时候，上个方法受限。使用该方法解决。
4.压缩感知匹配跟踪Compressive samping matching pursuit(CoSaMP)
每次迭代可以识别多个元素，这使它能够快速收敛，同时避免了阈值选择的难题。
5.正则化正交匹配追踪Regularized Orthogonal Matching Pursuit(ROMP)
将正则化过程应用于稀疏度K的OMP，在此基础上提出正则化这个方法，其在迭代过程中经过两次元素筛选，快速有效。该方法对满足RIP的测量矩阵和所有稀疏信号都可实现精确重建，且速度较快。
6.循环硬门限iterative hard thresholding(IHT)
一种流行的解决非线性逆问题方法。效果和45类似。
7.子空间追踪Subspace pursuit(SP)
对OMP\MP的一种改进，效果好，速度快。

迭代硬阈值类

非凸优化类

以上方法：已知信号模型的前提下讨论信号重建，即信号是确定的或者知道信号属于某一个已知的集合中。本节主要指的是基于稀疏重建的贝叶斯方法: 引入非确定性因素到信号本身，即考虑一个概率分布已知的稀疏或者可压缩信号。例如，假定信号中的元素来自突出稀疏特性的先验概率分布，且从随机测量中重建那些符合此概率分布的非零元素。

基础知识

关于矩阵分解：概述

• 奇异值分解SVD
• 特征值分解
• 因式分解MF

五、比较流行的压缩感知on-grid、off-grid、gridless算法

• on-grid:
  简单而言， 如果说 OMP 等在有限码本上选取码字的算法为 On-grid 类型。

• off-grid:
  期望最大化EM算法：介绍+ 代码实现。不行的时候使用变分贝叶斯
  ADMM算法：介绍 + 实现 + 深入
  AMP /近似消息传递GAMP算法：GAMP上+中+下
  GOMP算法：

• gridless:
  那么原子范数最小化Atomic norm minimization算法，就是在无穷精度的范围内进行搜索， 即 Gridless 类型。
  压缩感知的尽头：原子范数最小化
  原子范数最小化：实际解决IRS信道估计方向问题
  ​

• 一些补充
  SDR算法：用半正定松弛法 ( Semidefinite Relaxation) 求解二次优化问题
  深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件（求取有约束条件优化问题，对于等式约束的优化问题，可以拉格朗日乘子法去求取最优值；如果含有不等式约束，可以KKT条件去求取）
  【凸优化】关于 KKT 条件 及其最优性

5 离网稀疏方法
5.1 固定网格
5.1.1 数据模型
5.1.2 L1优化
5.1.3 稀疏贝叶斯学习
5.2 动态网格
5.2.1 数据模型
5.2.2 算法