压缩感知采样方式以及模型总结——学习笔记
- Paper1: Rank Minimization for Snapshot Compressive Imaging
- Paper2:Tensor non-local low-rank regularization for recovering compressed hyperspectral images,2017
- Paper3:Semi-Tensor Compressed Sensing for Hyperspectral Image,2018
- Paper4:Compressed Sensing Reconstruction of Hyperspectral Images Based on Spectral Unmixing,2018
- Paper5:Hybrid Spatio-Spectral Total Variation: A Regularization Technique for Hyperspectral Image Denoising and Compressed Sensing
- Paper6:Hyperspectral image super-resolution via non-local sparse tensor factorization
- Paper7:Hyperspectral Image Compressive Sensing Reconstruction Using Subspace-based Nonlocal Tensor Ring Decomposition
- Paper8:Hyperreconnet: Joint coded aperture optimization and image reconstruction for compressive hyperspectral imaging
- Paper9:lambda-Net: Reconstruct Hyperspectral Images From a Snapshot Measurement
- Paper10:Non-local meets global: An integrated paradigm for hyperspectral denoising,2019
- Paper11:HYCA: A New Technique for Hyperspectral Compressive Sensing
- Paper12:Plug-and-Play Algorithms for Large-scale Snapshot Compressive Imaging
- Paper13:The Power of Complementary Regularizers: Image Recovery via Transform Learning and Low-Rank Modeling
时间紧迫,会持续更新
Paper1: Rank Minimization for Snapshot Compressive Imaging
快照压缩成像(Snapshot compression imaging,简称SCI)是指将多帧图像映射到一个测量值中的压缩成像系统。在SCI中,测量的不是视频帧,而是多个帧的线性组合。SCI 中的期望信号通常是高维的,例如,从单个256×256(像素)的测量帧中恢复出空间分辨率为256×256(像素)的148帧视频。
研究现状
SCI的最新算法之一,仅基于高斯混合模型(GMM)的算法[19],[20],利用视频补丁的稀疏性。在广泛使用的视频中(例如,图5中的Kobe数据集),这些基于GMM的算法无法提供PSNR(峰值信噪比)大于30dB的重构视频帧。与模拟类似,对于SCI相机捕捉到的真实数据,GMM的结果会出现模糊和其他令人不快的伪影(图13)。模糊主要是由于GMM中稀疏先验的局限性,而令人不快的伪影可能是由系统噪声引起的。基于GMM的这些局限性,为了开发一种更好的重建算法,需要研究高维的结构信息,例如除了空间域外,还需要研究跨时间域和谱域的非局部相似性。
本文建立了一个将视频/高光谱帧的非局部自相似性和秩最小化方法与SCI感知过程相结合的模型,以提高重建视频的质量。其结构如下:
采样方式
本文采样方式参照文献[5]Coded aperture compressive temporal imaging,其模型如下:
其中 Φ ∈ R n × n B Φ∈R^{n×nB} Φ∈Rn×nB为传感矩阵,x∈ R n B × 1 R^{nB×1} RnB×1为期望信号(desired signal), g ∈ R n × 1 g∈R^{n×1} g∈Rn×1为噪声。与传统的CS不同,这里考虑的传感矩阵不是稠密矩阵(dense matrix)。在SCI中,矩阵Φ具有非常特殊的结构,并且不是随机的,可以写成:
其中 D k D_k Dk为 n × n n×n n×n的对角矩阵。
以CACTI中的SCI为例,每一帧的图像与 C k C_k Ck做运算,测量值由下式给出;
Hadamard(元素方式)积:对应元素相乘。
将每一帧的图像信息折叠到一个空间,那么位置 ( i , j ) (i,j) (i,j)的测量值如下:
WNNM与SCI模型
非局部相似
所有的视频帧 X k k B = 1 {
{X_k}}^B_k=1 XkkB=1被分成 N N N个大小为 √ d × √ d √d×√d √d×√d的重叠块,每个块用向量 z i ∈ R d , i = 1 , 2 , … , N z_i∈R^d,i=1,2,…,N zi∈Rd,i=1,2,…,N表示。第 i i i个patch z i z_i zi,从一个L×L×H像素的周围(搜索)窗口中选择其M个相似的面片,形成一个集合 S i Si Si,其中L×L表示窗口在空间上的大小,H表示窗口在时间上的大小(跨帧)。在此之后,Si中的这些斑块堆积成一个矩阵 Z i ∈ R d × M Z_i∈R^{d×M} Zi∈Rd×M,
这种由具有相似结构的斑块组成的矩阵 Z i Z_i Zi称为群,其中, z i , j z_{i,j} zi,j表示第 i i i个群组中的第 j