Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules文献复现

已于 2023-03-26 16:44:42 修改
阅读量1.5k 收藏 8
点赞数
分类专栏： 图像压缩 pytorch 文献代码复现 文章标签： python 深度学习 开发语言
于 2022-10-17 20:04:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_47146037/article/details/127374304
版权
本文档详细记录了Learned Image Compression with Discretized Gaussian Mixture Likelihoods和Attention Modules的复现过程，基于CompressAI库，通过调整学习率、λ和epochs，对柯达和CLIC数据集进行了多轮实验，以优化模型性能。最终，通过增大数据集训练，得到不同码率点的最佳模型参数。
摘要由CSDN通过智能技术生成

前言

文献名称：Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules
本文基于CompressAI的库进行复现
github地址：compressAI
关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用
安装好compressai后相当于把这个底层库引入了我们的工程
相关环境搭配可以参考Joint Autoregressive and Hierarchical Priors for Learned Image Compression文献复现文献复现
同样都是使用compressAI进行复现

1、创建工程

我这里在做好compressAI所需前置工作后，把我需要的几个文件单独移入了自己的工程
在这里插入图片描述

2、创建训练命令脚本

因为这篇文献其实是可以直接调用相关命令对实验进行复现，所以主要把相关命令输入，按照步骤一步步执行即可，相关脚本命令可以参考sh脚本运行命令

创建成功后：
在这里插入图片描述

# conda activate torchll
python3 train.py -m cheng2020-anchor -d /xxx/imageNet --epochs 1400000 -lr 1e-4 --lambda 0.0016 --batch-size 16 --cuda --save > log.out

这里的学习率，在文献中分成了两段，最后80k次迭代使用1e-5的学习率，这里我们就直接使用一个学习率进行尝试看看
其中patchsize取的默认256，最后可以加上自己保持的路径
具体的命令说明可以参见官网以及CompressAI：基于pytorch的图像压缩框架使用

训练完成后，会在.out文件中打印相关输出
在这里插入图片描述

3、整理训练流程

这里主要是在joint实验上进行一个网络的更改，所以仍然沿用joint的方式，更改对应的网络

  1. 找到对应网络结构
    在这里插入图片描述

  2. 沿用joint方法，只改变网络结构相关
    在这里插入图片描述
    具体模型结构见附录

其他具体训练流程同joint实验

  1. 加载训练命令，如上述图片的数据集、 e p o c h epoch epoch、学习率、 p a t c h s i z e patchsize patchsize、随机种子等

  2. 对数据集图片进行剪裁
    分别读取train训练数据集与test测试数据集的图片，剪裁大小 p a t c h s i z e patchsize patchsize初始值是256，train训练集随机剪裁成 p a t c h s i z e ∗ p a t h s i z e patchsize*pathsize patchsize∗pathsize，test测试数据集中心剪裁成 p a t c h s i z e ∗ p a t h s i z e patchsize*pathsize patchsize∗pathsize

  3. 加载剪裁好的两个数据集，以及训练相关数据如 b a t c h s i z e batchsize batchsize等

  4. 读取需要训练的模型网络、进行优化器的初始设置
    （1）模型引用位置compressai.zoo
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    这里的网络是通过之前的训练命令，调用cheng2020的模型，对应本篇文献的网络模型，模型代码可以见上面的网络结构代码

  5. 训练前先判断是否在之前有保存的节点，有则继续训练，无则重新开始

  6. 对train训练集以及test测试集分别带入优化器进行梯度下降，开始模型训练

  7. 损失收敛后训练完成，保存模型以及相应的节点

4、更新CDF保证熵编码的正常运行（模型地址与1保持一致）

相关脚本命令可以参考sh脚本运行命令
官方命令
在这里插入图片描述

python -m compressai.utils.update_model --architecture ARCH checkpoint_best_loss.pth.tar

自己命令

python -m compressai.utils.update_model --architecture mbt2018 checkpoint_best_loss.pth.tar

在这里插入图片描述

5、评价模型，获取性能值

官方命令
在这里插入图片描述

python -m compressai.utils.eval_model checkpoint /path/to/image/dataset -a ARCH -p path/to/checkpoint-xxxxxxxx.pth.tar

自己的命令

python3 -m compressai.utils.eval_model checkpoint /home/zqb/lilin/code/Joint-autoregressive-and-hierarchical-priors-reappearance/kodak -a mbt2018 -p /home/zqb/lilin/code/Joint-autoregressive-and-hierarchical-priors-reappearance/checkpoint_best_loss-779c59c4.pth.tar > eval_log.out

可以通过输出的日志看到评估结果
在这里插入图片描述

6、整理评估流程

评估流程从代码命令上看可以知道是直接调用comp

最低0.47元/天 解锁文章
ICLR2022系列解读之四：更有效的图像压缩概率模型Entroformer
AIEarth的博客
12-13 743
本文解读我们ICLR2022上发表的论文《Entroformer: A Transformer-based Entropy Model for Learned Image Compression》。
Joint Autoregressive and Hierarchical Priors for Learned Image Compression文献复现
小夭的博客
07-14 2675
文献名称：Joint Autoregressive and Hierarchical Priors for Learned Image Compression 本文基于CompressAI的库进行复现 github地址：compressAI 关于compressAI相关博客说明：CompressAI：基于pytorch的图像压缩框架使用我这里在做好compressAI所需前置工作后，把我需要的几个文件单独移入了自己的工程 因为这篇文献其实是可以直接调用相关命令对实验进行复现，所以主要把相关命令输入，按照步骤
CVPR2021 8篇Image compression文章分析
ChandelerGause的博客
08-20 3264
这里整理了CVPR2021中8篇与图像压缩相关的文章，分析其创新点和工作量。 How to Exploit the Transferability of Learned Image Compression to Conventional Codecs 针对问题: 卷积神经网络的计算量大，现有的codec计算量小，速度快。Codec结合gan对压缩后的图像做一个滤波处理从而用较低的编码成本获取获得纹理信息丰富的结果。Hybrid Codec 不可微，所以这里引入了一个surrogate codec从而提供
图像压缩-《Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules》
叶子
12-30 4775
Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules简介内容 论文地址：https://arxiv.org/abs/2001.01568 代码地址：https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention     基于论文《Join
图像压缩之《Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Attention Modules》
qq_17464457的博客
02-29 3270
论文地址：https://arxiv.org/pdf/2002.01657.pdf 代码地址：暂未公布 摘要 现在基于深度学习的图像压缩方法有着快速的发展同时也有着令人满意的结果，但是，在可学习的压缩算法和现行压缩标准之间仍然存在性能差距，尤其是在广泛使用的PSNR度量方面。本文探讨了最近的可学习的图像压缩算法中的存在的冗余问题，作者发现对于率估计，准确的熵模型极大的影响着模型的参数优...
【图像压缩】高斯混合-注意力模型 《Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Atten》
hahalidaxin的专栏
06-12 2538
绪论 本文针对熵模型优化提出使用离散化的高斯混合模型已提供更灵活的隐层表示分布估计，此外在网络结构中使用注意力模块关注复杂区域以提高性能。是第一个达到与VTM 5.2相近表现的工作。 提出的方法 压缩模型公式化 其中分别代表原始图像，重建图像，隐层表示，量化后的隐层表示，是可训练参数。代表量化、熵编码。推理时，是四舍五入量化，生成经过熵编码为比特流。简单起见使用代替。如果给定一个概率模型，熵编码技术可以无损压缩已经量化后的数据。算术编码器是一种接近最优的编码器，这使得在训练过程中..
ELIC: Efficient Learned Image Compression...
weixin_44330874的博客
04-15 1363
ELIC: Efficient Learned Image Compression with Unevenly Grouped Space-Channel Contextual Adaptive Coding
learned image compression with discretized gaussian mixture likelihoods and
04-29
学习了通过离散高斯混合似然值进行图像压缩 这是一种通过学习和利用离散高斯混合模型来进行图像压缩的方法。人们可以通过将图像中的像素颜色值转化为一个混合分布来对其进行表示。然后，使用迭代 algorithm 来确定...
PyTorch-Learned-Image-Compression-with-GMM-and-Attention 项目可视化界面
最新发布
07-19
使用PyQt5 创建PyTorch-Learned-Image-Compression-with-GMM-and-Attention项目的可视化操作界面，并可打包成单个exe文件，运行打包之后的软件可以选择训练好的模型对图片压缩
Checkerboard Context Model for Efficient Learned Image Compression文献复现（非官方，改动较大）
小夭的博客
10-19 1696
棋盘格上下文文献复现
论文阅读： （ECCV 2022） Content-Oriented Learned Image Compression
mqy19960330的博客
08-12 1532
（ECCV 2022） Content-Oriented Learned Image Compression
【图像压缩】CLIC2021 Winner 《Perceptual Learned Image Compression With Continuous Rate Adaptation》
hahalidaxin的专栏
06-26 1592
updating...... CLIC2021 Image赛道获胜者 1 绪论 本文提出了一种感知学习图像压缩框架，使用率失真、感知和对抗损失用端到端的方式训练网络。为了有效给不同图像区域分配比特数，在可变比特率自适应框架中提出了感兴趣区域（ROI）技术。本文还研究了低比特率（0.075 bpp）下的训练稳定性以及 E2E 优化框架相对于后处理框架的优越性。本文提出的框架在宽比特范围上获得了很好的重建效果。 2 提出的方法 2.1 网络结构 框架包括编码器、生成器和熵模型，熵.
关于深度图像压缩方法中的位可变问题的探讨
qq_17464457的博客
04-13 826
在基于深度自编码网络的图像压缩方法中，有一个关于位分配的问题，即对于人眼视觉更关注的区域分配更多的比特位，其他区域分配少一点的比特位，之前的深度学习图像压缩模型对于整个图像区域的内容都是位不变的分配方式，即对整个图像内容同等对待，都分配同样的比特位，但是[文献]提出了重要性图(importance map)的模块用于指导内容的位可变分配，简单来说就是实现内容的自适应；除此之外，还有另一种由显著性图...
端到端图像压缩《Checkerboard Context Model for Efficient Learned Image Compression》
叶子
07-27 4116
提出一种两阶段的Checkerboard Context Model，重新定义了端到端图像压缩的解码顺序。
CompressAI:用于端到端压缩研究的PyTorch库和评估平台
03-20
压缩AI CompressAI（ compress-ay ）是用于端到端压缩研究的PyTorch库和评估平台。 CompressAI当前提供： 用于基于深度学习的数据压缩的自定义操作，层和模型 官方库的部分端口 预训练的端到端压缩模型，用于学习图像压缩 评估脚本，将学习的模型与经典图像/视频压缩编解码器进行比较 注意：多GPU支持目前处于试验阶段。 安装 CompressAI仅支持python 3.6+（当前对PyTorch的支持<3.9）和PyTorch 1.4+。还需要C ++ 17编译器，最新版本的pip（19.0+）和常见的python软件包（有关完整列表，请参见setup.py ）。 要开始并安装CompressAI，请在运行以下命令： git clone https://github.com/InterDigitalInc/CompressAI compressai cd
CompressAI：InterDigital开源基于学习的图像视频压缩研究库
我爱计算机视觉
11-26 2406
在多媒体技术应用领域，图像视频编解码居于基础地位，在任何图像和视频应用的存储和传输中，都要涉及图像视频的压缩和解压。在音视频数据不断爆炸式发展的今天，追求高质量低数据量（低成本）的编解码...
端到端的图像压缩----《Channel-wise Autoregressive Entropy Models For Learned Image Compression》论文笔记
叶子
04-02 4353
Channel-wise Autoregressive Entropy Models For Learned Image Compression一. 简介二 内容2.1 现有方法缺陷2.2 改善方法 论文地址：https://arxiv.org/abs/2007.08739 代码地址：https://github.com/tensorflow/compression Minnen google大神，他们实验室应该是这个方面，最牛逼的实验室了吧=-= 一. 简介    &nb
深度学习视频压缩3——M-LVC: Multiple Frames Prediction for Learned Video Compression
Eva_Hua的专栏
10-19 3178
《M-LVC: Multiple Frames Prediction for Learned Video Compression》 代码：https://github.com/JianpingLin/M-LVC_CVPR2020 论文：https://arxiv.org/abs/2004.10290 摘要 视频压缩方法DVC在预测当前帧时主要参考帧只选择了前面的一帧，本文的方法考虑前序多帧作为参考帧。所以当有多帧作为参考帧时相比单帧作为参考帧就能有更精确的预测结果，并且有更少的残差冗余。此外，采用多
【Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction】阅读笔记
yeen123的博客
06-05 546
尽管高速视频和高光谱图像的令人兴奋的结果已经被证明，但是重建质量差阻碍了SCI的广泛应用。在所有SCI技术中，CASSI是目前最热门的方向。本文的任务是：从CASSI压缩的2D图像中更好的恢复出原始的3D HSI图像............
论文阅读——Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation
长路漫漫亦灿灿
10-24 317
原文链接：Coarse-to-Fine Image Inpainting via Region-wise Convolutions and Non-Local Correlation (IJCAI 2019). Ma, Y., Liu, X., Bai, S., Wang, L., He, D., & Liu, A. [Paper][Code]本文创新点：网络分为两个部分粗略修复（stage1）和细致修复（stage2）。其中， 是包含缺失区域的图像， 为二值掩码（缺失像素为0，其他为1）， 为完整图像，E
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值