压缩感知（ISTA-Net论文）学习笔记

已于 2024-04-18 00:34:36 修改
阅读量1k 收藏 12
点赞数 12
文章标签： 学习 笔记 深度学习 软阈值压缩 ISTA
于 2024-04-14 01:41:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_68788727/article/details/137730533
版权

压缩感知（ISTA-Net论文）学习笔记

第一天，主要查找相关视频和笔记，补全预备知识

【nabla算子】与梯度、散度、旋度_哔哩哔哩_bilibili

近端梯度(Proximal Gradient)下降算法的过程以及理解|ISTA算法|LASSO问题_哔哩哔哩_bilibili

数学中常见的arg min，arg max是什么意思_统计学arg-CSDN博客

梯度算子

三角形符号倒过来（▽ ）是梯度算子（在空间各方向上的全微分），是微积分中的一个微分算子，叫Hamilton算子，用来表示梯度和散度，读作Nabla。

【论文精读】ISTA软阈值迭代压缩感知（凸优化部分） - 知乎 (zhihu.com)

【论文阅读笔记 2】ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing - 知乎 (zhihu.com)

[重温经典]深度解读ISTA-Net - 知乎 (zhihu.com)

Lasso—原理及最优解 - 知乎 (zhihu.com)

【nabla算子】与梯度、散度、旋度_哔哩哔哩_bilibili

第二天 学习匹配追踪算法

匹配追踪算法
(1) 由于原信号的频率非零值在亚采样后的频域中依然保留较大的值，其中较大的两个可以通过设置阈值，检测出来（图a）。

(2) 然后，假设信号只存在这两个非零值（图b），则可以计算出由这两个非零值引起的干扰（图c）。

(3) 用a减去c，即可得到仅由蓝色非零值和由它导致的干扰值(图d），再设置阈值即可检测出它，得到最终复原频域（图e）

(4) 如果原信号频域中有更多的非零值，则可通过迭代将其一一解出。

以上就是压缩感知理论的核心思想——以比奈奎斯特采样频率要求的采样密度更稀疏的密度对信号进行随机亚采样，由于频谱是均匀泄露的，而不是整体延拓的，因此可以通过特别的追踪方法将原信号恢复。
参考文章：形象易懂讲解算法II——压缩感知

第三天 主要探究如何进行稀疏变换，学习了关于DWT,DCT相关知识

在这里插入图片描述
DWT学习参考视频
DCT学习参考视频
在这里插入图片描述
图片采自此文章 ——形象易懂讲解算法II——压缩感知
真理：
在这里插入图片描述图片采自此文章 ——形象易懂讲解算法II——压缩感知

[压缩感知测量矩阵之有限等距性质（Restricted Isometry Property, RIP）]
(https://blog.csdn.net/jbb0523/article/details/44565647)

压缩感知讲座06：对观测矩阵的探讨
压缩感知讲座02：对稀疏和稀疏矩阵的认识

系列讲解视频

第四天 研读知乎文章

对于向量组A，若存在一组不全为0的实数K，
使在这里插入图片描述
，则称向量组A是线性相关的，否则称它线性无关。

可以这样用一句话概括地描述什么是压缩感知：
如果一个信号在某个变换域是稀疏的，那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上，然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号。
以下引用上文提及的知乎文章

在这里插入图片描述
今晚跑了相关代码~内容更新较慢，后续完成手头任务会重新整理文章，修改相关逻辑

第五天 研究ISTA以及LISTA和Proximal Gradient Algorithm，看论文原文

期间看了以下文章
深度学习：深度压缩感知-从ISTA到LISTA及其pytorch实现方法
近端梯度下降算法(Proximal Gradient Algorithm)
【简读】Hyperparameter Tuning is All You Need for LISTA
软阈值迭代算法（ISTA）和快速软阈值迭代算法（FISTA）

每晚11点后研读~

笔记（二）——深度学习基本框架（层和块）
weixin_45169380的博客
12-20 1909
目录 一、层和块的定义和初始化 1、pytorch 中定义Module的方法——nn.Sequential() 2、层和快的初始化方法与栗子 二、在ISTA-Net中层和块的定义与应用 一、层和块的定义和初始化 1、pytorch 中定义Module的方法——nn.Sequential() 我们通过实例化nn.Sequential来构建我们的模型， 层的执行顺序是作为参数传递的。 简而言之，nn.Sequential定义了一种特殊的Module， 即在PyTorch中表示一个块的类， 它维
【图像压缩感知】论文阅读：ISTANet: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
qq_51975055的博客
11-17 1263
受迭代收缩阈值算法（ISTA）的启发，本文提出了一种新的用于图像压缩感知（CS）重建的结构化深度网络，称为ISTA- net，及其增强版本ISTA- net +。所提出的ISTA-Nets具有良好的可解释性，并充分利用了基于优化和基于网络的CS方法的优点。istelets中的所有参数都是端到端的判别学习。大量的实验表明，sta - nets在保持快速运行的同时，大大改善了最先进的CS方法的结果。
图像的压缩感知算法之ISTA算法
05-19
ISTA（Iterative shrinkage-thresholding algorithm），即迭代阈值收缩算法。
推荐项目：ISTA-Net - 图像压缩感知的深度网络
gitblog_00013的博客
06-21 951
推荐项目：ISTA-Net - 图像压缩感知的深度网络 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 ISTA-Net，全称为迭代阈值化 shrinkage 算法启发式深网络，是一个由CVPR 2018年发表的研究成果。这个创新性项目结合了传统优化方法的洞察力和最新网络方法的速度，专注于自然图像的快速而精确的压缩感知（CS）重建。项目灵感来源于用于求解L1范数CS重建...
ISTA算法-图像压缩感知算法之ISTA算法
jamin_liu_90的博客
05-16 1万+
前导：主程序：clear all;h=imread('cameraman.bmp');h=im2double(h);[m,n]=size(h);%取图像中的64*64的图像块B=zeros(m/4,n/4);for i=1:m/4    for j=1:n/4        B(i,j)=h(m/8+i,n/8+j);    endend%得到随机矩阵Ak=round(0.6*m*n/16);A=...
压缩感知算法之FISTA算法
05-19
FISTA算法是对ISTA算法的优化提升，本程序是在ISTA算法的基础上进行的编程改进。
深度学习：深度压缩感知-从ISTA到LISTA.ipynb
07-21
【深度学习：深度压缩感知-从ISTA到LISTA及其pytorch实现方法】的完整源码，博客地址https://blog.csdn.net/qq_38290475/article/details/104684232。资源积分会自动上涨，欢迎私信或者评论，我会重新调整为0积分。
压缩感知算法
10-28
压缩感知算法描述以及最新算法的讲解，其中包含对原有算法的改进
ISTA-Net : Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing
weixin_42245856的博客
03-12 4377
论文题目：ISTA-Net : Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing 作者：Zhang, Jian and Ghanem, Bernard 书名：{CVPR} 年份：{2018} <Jian Zhang, Bernard Ghanem , “ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image
【图像压缩感知】论文阅读：SODASNet: Side-Information-Aided DeepAdaptive Shrinkage Network for Compressive Sensing
qq_51975055的博客
11-15 954
本文为个人阅读论文的笔记，仅作为学习记录所用。TIM 20231、目前的DUNs每个stage的输入和输出都是固有的图像，这严重限制了信息的传输2、由1-正则化优化展开的DUNs通常采用固定阈值进行软收缩操作，缺乏适应性。
ISTA_Net_tf2
03-28
ISTA_Net_tf2
大牛写的压缩感知的OMP算法（绝对简单，分享给大家）
10-30
压缩感知的稀疏重构中广泛应用的正交匹配追踪（OMP）算法matlab程序，该算法由香港大学电子工程系 沙威老师开发，代码注释详细，便于读者理解。已测试，可以正常运行。读者通过代码可以加深对该算法以及压缩感知、稀疏重构的认识。 压缩感知的稀疏重构中广泛应用的正交匹配追踪（OMP）算法matlab程序，该算法由香港大学电子工程系 沙威老师开发，代码注释详细，便于读者理解。已测试，可以正常运行。读者通过代码可以加深对该算法以及压缩感知、稀疏重构的认识。
Training_Data
08-03
Jian Zhang and Bernard Ghanem, "ISTA-Net: Interpretable Optimization-Inspired Deep Network for Image Compressive Sensing", CVPR 2018 论文训练数据集
【图像压缩感知】论文阅读：TransCS: A Transformer-Based Hybrid Architecture for Image Compressed Sensing
qq_51975055的博客
11-08 1121
为了实现高质量的图像压缩感知，本文设计了一种新的基于Transformer的结构TransCS。对于自然图像的全局位置依赖性建模，本文提出的TransCS使用自定义的基于ISTA的Transformer作为主干来建模输入子块。此外，Transformer骨干网与CNN作为混合范式集成，以捕获图像的混合特征（全局依赖和局部特征），从而提高图像重建性能。最后，实验结果表明，在各种采样率的情况下，TransCS优于其他竞争的最先进的方法。
【图像压缩感知】论文阅读：Recursions Are All You Need: Towards Efficient Deep Unfolding Networks
qq_51975055的博客
11-27 1115
大多数深度展开网络如何由于其迭代设计而遭受冗余。这种网络的迭代设计存在冗余，而递归框架的使用成功地消除了许多冗余。在训练过程中使用随机IPL也可以减少训练时间。认为递归框架最重要的部分是它的简单性，因为这可以让它推广到其他网络，因为框架的核心概念是围绕递归的，这在其他迭代网络中实现起来相当简单。相信从递归中提取更多的利用率是可能的，因为我们已经展示了如何实现一个简单的块（如RFMU）来提高框架的效率。
探索未来科技：ISTA-Net - 基于深度学习的压缩感知优化解决方案
gitblog_00037的博客
05-31 345
探索未来科技：ISTA-Net - 基于深度学习的压缩感知优化解决方案 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的数字时代，高效处理大量数据成为关键。IST 去发现同类优质开源项目:https://gitcode.com/ ...
压缩感知重构算法之迭代软阈值(IST)
热门推荐
彬彬有礼的专栏
08-09 4万+
题目：压缩感知重构算法之迭代软阈值(IST)         看懂本篇需要有以下两篇作为基础：(1)软阈值(Soft Thresholding)函数解读   (2)Majorization-Minimization优化框架。 彻底理解了迭代硬阈值IHT以后，很自然的会想到：如果将软阈值(Soft Thresholding)函数与Majorization-Minimization优化框架相结合形成迭代软阈值(Iterative Soft Thresholding，IST)算法（另一种常见简称为
深度学习：深度压缩感知-从ISTA到LISTA及其pytorch实现方法
Ten_yn的博客
03-05 2万+
摘要：传统的压缩感知方法在重构时的速度通常比较慢。通过将深度学习和压缩感知结合，可以大大提高重构速度。Learned Iterative Shrinkage and Thresholding Algorithm (LISTA)应该是用深度学习方法求解压缩感知最早的方法，本文简单总结一下LISTA，并给出ISTA和LISTA的具体实现，分别使用Python和Pytorch，并对仿真的稀疏信号进行重构。
关于论文《ISTA-Net》的研究心得
qq_42201432的博客
03-29 8283
本文主要梳理了2018年CVPR的论文《ISTA-Net》的整体思路，将一些文中的比较跳跃的点表述得更清楚。水平有限，难免出错，恳请指正。
ISTA-NET
最新发布
03-16
### ISTA-NET: 深度学习算法实现及其应用 ISTA-NET 是一种基于迭代收缩阈值化算法（Iterative Shrinkage-Thresholding Algorithm, ISTA）的深度学习框架，主要用于稀疏信号重建任务。该方法通过将传统优化中的 ISTA 方法嵌入到神经网络结构中，实现了端到端的学习过程[^1]。 #### 网络架构设计 ISTA-NET 的核心思想在于模仿经典的 ISTA 过程来构建其网络层。每一层对应于一次 ISTA 更新操作，其中涉及的关键组件包括线性变换矩阵、非线性激活函数以及步长参数调整。具体而言： - **线性映射模块**：利用可训练权重矩阵模拟测量数据与原始信号之间的关系。 - **软阈值处理单元**：引入逐元素非线性运算以促进稀疏表示特性。 - **自适应调节机制**：允许各层独立设置最佳松弛因子和正则项系数。 这种设计不仅保留了经典压缩感知理论的优势，还借助现代 GPU 加速技术显著提升了计算效率[^2]。 以下是 Python 实现的一个简化版本示例代码片段： ```python import tensorflow as tf class ISTALayer(tf.keras.layers.Layer): def __init__(self, units=32, input_dim=784): super(ISTALayer, self).__init__() w_init = tf.random_normal_initializer() self.w = tf.Variable( initial_value=w_init(shape=(input_dim, units), dtype="float32"), trainable=True, ) def call(self, inputs): z = tf.matmul(inputs, self.w) output = tf.nn.relu(z - 0.1 * tf.abs(z)) # Soft-threshold operation return output model = tf.keras.Sequential([ISTALayer(units=64, input_dim=128)]) ``` 上述代码定义了一个基本形式的单层 ISTA 结构，并展示了如何将其集成至 Keras 中用于进一步扩展多级联结情况下的整体性能表现评估实验验证环节当中去[^3]。 #### 应用领域概述 由于具备良好的泛化能力和较高的恢复精度水平，在实际工程应用场景方面具有广泛适用价值的主要体现在以下几个方向上： - 图像超分辨率增强(Super Resolution)[^2] - MRI 扫描加速成像(Magnetic Resonance Imaging) - 音频降噪(Audio Denoising) 这些成果表明 ISTA-NET 能够有效解决各类低维观测条件下高维度目标估计难题的同时保持较高程度上的鲁棒性和稳定性特征属性特点所在之处体现得淋漓尽致无遗。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

绿皮的猪猪侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值