编码孔径快照式光谱成像（CASSI）论文学习（一）——Rank Minimization for Snapshot Compressive Imaging

最新推荐文章于 2024-05-04 10:09:02 发布
最新推荐文章于 2024-05-04 10:09:02 发布
阅读量2.7k 收藏 12
点赞数 6
文章标签： 学习 算法 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xz_92/article/details/129881848
版权

目录

一、总体算法流程

二、算法公式详细推导

一、总体算法流程

DeSCI算法流程图

左边：通过SCI相机之一的CACTI获得Measurement测量值y（多帧Scene与Mask做Hadamard乘积之和）

Hadamard乘积是两个矩阵按照对应元素相乘所得到的结果。如果两个矩阵A和B的维度相同，即A和B都是m行n列的矩阵，那么它们的Hadamard乘积C的每个元素c_ij就是a_ij和b_ij相乘所得到的结果，即：

C = A ⊙ B     →       c_ij = a_ij * b_ij

中间：将y与Mask输入，Initialization是指将y恢复成多帧(如何做？)然后将多帧划分为N个\sqrt{d}*\sqrt{d}重叠块zi，然后从L*L（空间）*H（时间）大小的搜索窗口计算（根据欧式距离）与这N个块相似的M块，将其组成Si，Si组成数据矩阵Zi（d*M）,对Si进行WNNM去噪，得到Z’，然后通过聚合恢复x'，通过x’计算出\theta，接着继续进行迭代，达到迭代次数后输出。

右边：GAP-TV与DeSCI的效果对比

二、算法公式详细推导

1、基础知识

  • SCI系统中的测量，其中B帧，n个像素中的每个像素折叠成快照可以用以下式子建模：

 其中y为SCI测量值，  \O为传感矩阵，x为需要恢复的多帧，g为噪声 

在本文SCI系统，也就是用于视频CS的CACTI和用于光谱CS的CASSI来说，\O可以用以下公式表示：（D为对角矩阵，则\tiny \O\tiny \O_{ }^{T }为对角矩阵）

 令（k=1~B）

则以CACTI中的SCI为例，考虑B个高速帧Xk相应地由掩码Ck调制。测量值y由下式给出：

\tiny \bigodot为Hadamard乘积,

 对于位置（i，j）处的所有B帧像素中，它们被压缩以在单次测量中形成一个像素（i＝1~nx；j＝1~ny），可得，

Zi由于其中的块具有相似的结构（相似的部分可以线性代替），也可以说所有的特征中真正有用的特征不多，所以Zi为低秩。

使用低秩（WNNM（加权核范数最小化））作为约束条件可以得到以下的公式：(\lambda为正则化参数）

 加权核范数如下：（wj是分给σj的权重，σj是Zi的第j个奇异值）

 2、以下是具体推导如何解SCI-WNNM的优化问题

  • 构造辅助变量\theta

  •  通过构造增广拉格朗日函数进行转化

 由此，得到论文中的三个转化公式如下：

  • 接下来就是分别对三个式子进行求解

（1）求解\theta

 然后利用一些简单的矩阵变换，将原始矩阵的求逆问题转化为求解一些更简单的子问题，从而降低计算的复杂度。具体使用以下引理：

可得：

将（17）代入求解出的\theta可得，

 令

 两项之和的逆求法如前述Matrix inversion lemmas，简化得（A+B)^(-1)=B^(-1[A^(-1)+B^(-1)]^(-1)A^(-1)

且两项之积的逆(AB)^(-1)=B^(-1)*A^(-1)，可得：

代入（19）得，

令 

 得，

其中，下式子可以一次更新 

 \tiny \psi _{i}^{}可以用以下式子提前计算并存储好

综上，利用(22)可以有效的更新\theta

 （2）求解x

设q=\theta-b，则求解x的式子可转为去噪的问题：（用于视频）

 设Ri是由与Zi对应的q构造的第i个块组，令q为有噪声版本的x，即q=x+e，其中e表示零均值高斯白噪声，并且ei～N（0，\small \sigma _{n}^{2}）。可以从重建Zi来恢复x。

大数定律：

 引用大数定律得，

 n和N都很大（即>60000），并且重叠的补丁是平均的，因此我们可以将（24）转化为以下问题 

 其中Zi可以依靠下式独立求解，

 根据前面的假设，可得 ，故根据以下方法可得闭解：

奇异值分解 (Singular Value Decomposition, SVD) 是一种矩阵分解方法，可以将一个任意形状的矩阵分解成三个矩阵的乘积，从而得到该矩阵的重要信息。

 根据奇异值分解（SVD）得， （）

 由于Ri是Zi的稀疏结构，所以Zi的奇异值矩阵应由Ri的奇异值矩阵进行权重选择得到，取奇异值较大的行，式子表达如下，

（3）求解w

对于自然图像/视频，我们有一个普遍的先验知识，即Zi的较大奇异值比较小奇异值更重要，因为它们代表Zi的主要分量的能量。在去噪的应用中，奇异值越大，它们应该收缩得越小，即

 其中c>0，>0是常数，M是Zi中的补丁数量。

 由于x不可用，σj（Zi）也不可用。我们估计如下：

 其中\small \sigma _{n}^{2}在每次迭代中被更新。关于有一些启发式方法[24]可以根据当前估计确定\small \sigma _{n}^{2}。

 三、完整的DeSCI算法

初始化参数 → 预计算 →  反复迭代（\small \theta→q→Ri→Zi→x'→\small \sigma_{n}^{}→b）→ 达到最大迭代次数后输出重构的x 

xz_92
关注
  • 6
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
离散控制Matlab代码-ShearLet_for_Snapshot_Compressive_Imaging:利用Slicelet变换中的稀疏
05-23
我们在两个名为编码Kong径压缩时间成像（CACTI）和编码Kong径镜头频谱成像（CASSI）的SCI系统上进行了重建实验。 我们将提出的SeSCI与其他算法进行比较，并进行SeSCI的消融实验。 我们还揭示了SeSCI在幻像成像（GI）...
Rank Minimization for Snapshot Compressive Imaging——学习笔记
AZSNCRM的博客
08-31 3329
Rank Minimization for Snapshot Compressive Imaging——学习笔记摘要研究内容采样方式秩最小化的重构模型相似分组核范数最小化模型模型求解(ADMM)求解θθθ求解xxx算法 秩最小化的快照压缩成像 摘要 快照压缩成像（Snapshot compression imaging，简称SCI）是指将多帧图像映射到一个测量值中的压缩成像系统，视频压缩成像和高光谱压缩成像是两种具有代表性的应用。尽管高速视频和高光谱图像的令人兴奋的结果已经被证明，但是重建质量差阻碍了SCI
基于GAP_TV算法实现视频压缩感知matlab源码
m0_60703264的博客
09-19 1368
1 算法介绍 We consider the total variation (TV) minimization problem used for compressive sensing and solve it using the generalized alternating projection (GAP) algorithm. Extensive results demonstrate the high performance of proposed algorithm on compr...
神经辐射场重建自快照压缩图像：单次曝光下的三维场景重建，无需生成模型（CVPR 2024）
最新发布
LiRongLu_的博客
05-04 1151
本研究所采用的单曝光压缩成像系统得益于创新的光学硬件及成像算法设计，能够在单次测量过程中采集并压缩高维数据（如视频、高光谱图像等），通过二维传感器（例如CCD/CMOS相机）高效捕捉视觉信息。我们的方法能够在一次测量中捕获动态场景，把来自不同视角的图像信息集中压缩至一张单一图像内。图2：单曝光压缩成像 (SCI) 系统使用 2D 传感器在测量中捕获高维数据。
编码孔径快照式光谱成像（CASSI）论文学习（三）——Prior Image Guided SnapshotCompressive Spectral Imaging
xz_92的博客
06-13 758
1、求x:求偏导，利用矩阵逆引理求解。
编码孔径成像-编解码孔径的设计（MURA均匀冗余阵列）
weixin_42343912的博客
01-17 1512
编码孔径成像-编解码孔径的设计（MURA均匀冗余阵列）
CASSI论文学习（二）——GENERALIZED ALTERNATING PROJECTION BASED TOTAL VARIATION MINIMIZATION FOR CS
xz_92的博客
04-19 1128
作为两个圆（其他形状也可以），求其交点（因为两个条件均需满足）。通过交替投影，投影到同一个点的时候结束，即。本文工作：使用广义交替投影（GAP）算法进行求解压缩传感的总变化（TV）最小化问题。对X做投影，通过交替投影，直到互相投影得到的值相同，则得到优化结果。的行列数比，其实就是测量值y行数与要求值x的列数的大小的比值。，求x成为一个TV去噪问题，可使用迭代裁剪算法求解。TV（x）的含义是对矩阵内值按行/按列相减，即。使用GAP解决，可得以下式子，在几何角度来解释，可将X和。基本的TV总变分问题如下，
高精度快照式高光谱成像
weixin_42598422的博客
02-17 389
基于分光系统和图像融合实现高精度快照式高光谱成像。
1.2.3.2 编码孔径断层合成
tiansch的博客
06-04 866
1.2.3 Coded Aperture Tomosynthesis One of the most intriguing and advanced tomosynthesis methods of the past, coded aperture imaging, was developed by Klotz and Weiss of Philips GmbH of Hamburg, Germany in the 1970s (Klotz and Weiss 1974, 1976, Weiss et al
CASSI基于压缩感知的光谱成像源代码
03-07
本文将围绕标题“CASSI（Compressive Spectral Sensing and Imaging）基于压缩感知的光谱成像源代码”展开，深入解析其中的关键概念和技术细节。 首先，压缩感知的基本思想是，对于稀疏或可压缩的信号，只需要远...
lambda-net-master_深度学习_光谱采集_tensorflow_GANUNET_多光谱重建
09-11
CASSI（Compressive Spectral Imaging System）是一种压缩感知光谱成像技术，它能以较低的采样率捕获高维光谱数据。这种技术对于存储和处理大量光谱数据非常有效，但需要相应的算法来进行数据恢复和图像重建。 ...
光电成像中不同形状编码孔径的解码比较
02-12
在X光成像中,编码孔径成像是一种两步成像过程,第一步是编码过程,利用编码孔径收集目标的图像;第二步是解码过程,对编码图像进行滤波和重建,以便获得高分辨率的可视目标像。而编码孔径主要有两种,一种是根据各孔径的形状分类;另一种是根据各子孔径在孔径平面的空间分布分类。解码过程中用的方法是维纳(Wiener)滤波。维纳滤波算法能够以很低的计算代价获得较好的复原效果。在简述孔径编码成像技术的原理和发展的基础上,提出在光电成像中利用编码孔径成像及图像恢复处理方法。对不同形状孔径进行编码解码处理,通过比较选择出最佳的孔径形状。并通过实验表明,利用该编码孔径成像可以在保证高分辨率的情况下,具有较高的集光效率和信噪比,成像效果很好。
一种基于编码孔径成像原理的三维成像方法
02-12
三维成像技术因其应用广泛而备受关注。根据编码孔径成像的基本原理，提出了一种非相干可见光三维成像方法。这种两步成像方法的第一步采用空间位置编码的照相机阵列对物体拍照，在第二步中，首先将照相机阵列拍照得到的物体照片根据拍照时的位置关系合成为一幅图像，然后采用计算机程序模拟光学反投影解码方法解码再现出物体不同深度的表面分层图像。设计了初步的实验，该实验采用1部照相机依次在各编码位置对物体模型拍照，编码形式是包含9个点的无冗余阵列形式，物体模型只包含2个深度层次，布置在距离照相机阵列1.5 m的地方。实验得到了信噪比较高的物体模型的分层解码图像，验证了这种三维成像方法的可行性。
一种改进的wiener滤波图像复原算法
10-27
本文详细介绍了wiener滤波器的实现原理，并提出了改进优化算法，将其应用于图像复原中。
压缩感知图像matlab代码-DeSCI:快照压缩成像（TPAMI'19）的等级最小化
05-20
该存储库包含用于论文的快照压缩成像等级最小化（ IEEE Transactions on Pattern Analysis and Machine Intelligence 2019）的MATLAB代码，分别为，，，和（*相等贡献）。 [新]的实际数据和相关代码可在或处获得。 ...
压缩感知在编码孔径x射线图像上的应用.rar_图形图像处理_matlab_
08-09
在CASSI（Compressive Acquisition Single Shot Imaging）系统中，编码孔径用于将多维信息压缩到一维或二维测量中。这大大减少了所需的探测器数量和数据采集时间，同时保持了图像质量。CASSI系统利用稀疏性假设，即...
推扫式和快照式高光谱成像系统在红肉掺假检测中的应用
huanhan的博客
09-05 1771
肉类掺假常见于用低价肉代替高价肉获取非法利益，它不但影响了食品的质量，甚至会威胁到人们的健康。目前的检测手段一般是取样后送样检测，很难实时实地得到检测结果。红肉是指在烹饪前呈现岀红色的肉，如猪、牛、羊肉等，作为日常生活中最常见的肉，避免肉类掺假，消除对人们健康威胁的重要性不言而喻。实验表明，推扫式和快照式高光谱相机均能够有效检测红肉掺假。近年来，深度模型逐渐取代了传统的机器学习模型，因为它们可以提供了更为显著的准确性水平和广泛的检测范围。然而，缺乏大型的数据库来训练模型，限制了深度模型的应用。
光谱检测的知识积累第一天
名幕新星的博客
07-13 1668
一 成像光谱仪的相关原理和知识 高光谱成像的数据是一叠连续多个波段成像获得的景色或样品的图像，就是俗称的图像立方体（Image cube）。这个图像立方具有两个空间维度（X和Y），第三维为每个像素的波长或辐射强度。 光是有不同波长的光组成，光谱仪就是分解光分析光成分的仪器，所以光谱仪的主要工作原理就是将光的成分分解到空间的维度，进而用image sensor来测量，当然也可以分解到时间或不同的滤光片的维度 但是目前不是主流。 成像光谱仪由两种，一种是面阵成像光谱仪，一种是推扫式线阵成像光谱仪。 成像光谱仪
hyperion高光谱参数_内部推扫式高光谱显微镜的光学设计和实验室测试
weixin_39612653的博客
11-26 1148
内部推扫式高光谱显微镜的光学设计和实验室测试摘要：高光谱成像技术是一种新兴的医学应用技术，特别是在疾病早期诊断和生物医学研究中基于其独特的光谱特征。本文设计了一种适用于多种医学应用的基于棱镜-光栅-棱镜的高光谱显微技术。在400nm到800nm之间的光谱范围通过256个光谱通道进行采样，全光谱和全视场的调制传递函数(MTF)值接近衍射极限，smile不到一个像素的6.4%，keyston...
cassi依赖于压缩感测
09-01
cassi是压缩自感应计算机采集系统（Compressed Sensing and Imaging）的简称，它是一种依赖于压缩感测的技术。 压缩感测是一种利用稀疏性进行数据采集和重构的方法。它通过在信号获取阶段进行明确压缩以减少数据量，然后在重构阶段使用数学算法恢复原始信号。这种方法可以在保持高质量的前提下减少数据量，从而节省存储空间和传输带宽。 cassi系统依赖于压缩感测来获取并重构图像。在图像采集阶段，cassi系统使用特殊的传感器和采集方式，通过简单的压缩采样将图像信息转化为稀疏信号。将信号进行压缩采样后，cassi系统可以将采集到的数据映射到一个低维空间，从而减少了数据的存储和传输量。 在图像重构阶段，cassi系统利用压缩感测算法对之前得到的稀疏信号进行恢复和重构。这种算法利用信号的稀疏性质，在经过数学模型建模和求解的过程中，能够准确地还原出原始图像的细节。 通过依赖于压缩感测，cassi系统实现了高效的图像采集和重构。相比传统的采集方式，它可以节省存储空间和传输带宽，并且能够保持较高的图像质量。因此，cassi系统在医学影像、无人机拍摄、安防监控等领域具有广泛的应用前景。
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值