深度学习图像压缩：Variational image compression with a scale hyperprior 笔记

最新推荐文章于 2024-04-26 17:40:40 发布
最新推荐文章于 2024-04-26 17:40:40 发布
阅读量3.7k 收藏 17
点赞数 2
分类专栏： 论文笔记 点云压缩 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39120048/article/details/119734006
版权

本系列文章由@邻居张师傅 出品，转载请注明出处。

文章链接： https://blog.csdn.net/qq_39120048/article/details/117753592

邮箱： zhangyh.nb@qq.com

目录

论文地址：Variational image compression with a scale hyperprior

ABSTRACT

论文描述基于变分自编码器的图像压缩端到端可训练模型。
该模型采用超优先级（hyperprior），以有效捕获潜在表示（即图像向量 x 的另一种表示 y ）的空间依赖性。

1 INTRODUCTION

在这里插入图片描述

2 COMPRESSION WITH VARIATIONAL MODELS

KL散度的最小化等效于优化压缩模型的rate-distortion性能

3 INTRODUCTION OF A SCALE HYPERPRIOR

在这里插入图片描述

左侧显示了图像自编码器架构（End-to-end Optimized Image Compression 论文中的网络结构）
右侧对应于实现hyperior的自编码器

理解

引入hyperior的目的

能更好的得到压缩后的图像/点云，实现最优压缩，去除冗余
例如：
在这里插入图片描述

左图是《End-to-end Optimized Image Compression》论文中的框架（factorized-prior model），边缘处存在冗余
右图是在左图基础上引入hyperior的框架，去除了图像的冗余

变分编码器和rate-distortion优化的关系

《End-to-end Optimized Image Compression》论文中rate-distortion优化可以转化为变分编码器

参考

深度学习与视频编解码算法一
c语言图像压缩算法实现_Image Compression 图像压缩
端到端的图像压缩----《Variational Image Compression With A Scale Hyperprior》论文笔记

邻居张师傅
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
图像超分入门必备：2020CVPR图像超分论文集合
01-02
"Image Super-Resolution With Cross-Scale Non-Local Attention and Exhaustive Self-Exemplars Mining"引入了跨尺度非局部注意力和自相似挖掘，通过全局信息交互提升图像恢复的质量。"Learning Texture ...
Image processing and analysis variational PDE wavelet and stochastic methods
11-22
《ImageProcessingandAnalysis》将现代数学与现代图像处理中最先进的方法联系起来，组织成一个连贯的逻辑结构。作者通过它们连接到傅里叶和光谱分析中的少数共同线程，揭示了传统图像处理的原理，从而整合了现代图像...
端到端的图像压缩----《Variational Image Compression With A Scale Hyperprior》论文笔记
热门推荐
叶子
12-12 1万+
Variational Image Compression With A Scale Hyperprior一 简介二 内容2.1 现有方法缺陷2.2 数据流程2.3 变分自编码器性能结论 论文地址：https://arxiv.org/abs/1802.01436 代码地址：https://github.com/tensorflow/compression Balle google大神，入门必读。该文章仅供本人笔记用，如果问题欢迎讨论。 一 简介     &nbsp
【图像压缩】超先验模型 《VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR》
hahalidaxin的专栏
06-09 9533
绪论 2015年，第一个端到端图像编码方案被提出。基于深度学习的端到端图像压缩主要分为两类，一类是基于RNN的方法，一类是基于CNN的方法。本文对基于CNN的方法
《END-TO-END OPTIMIZED IMAGE COMPRESSION》论文阅读
最新发布
Z凌
04-26 1098
我们描述了一种图像压缩方法，包括非线性分析变换、均匀量化器和非线性合成变换。这些变换是在卷积线性滤波器和非线性激活函数的三个连续阶段中构造的。与大多数卷积神经网络不同，受用于模拟生物神经元的网络的启发，选择联合非线性来实现一种局部增益控制形式。使用随机梯度下降的变体，我们在训练图像数据库上联合优化整个模型的率失真性能，引入量化器产生的不连续损失函数的连续代理。在某些条件下，松弛损失函数可以解释为由变分自动编码器实现的生成模型的对数似然。
VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR
Aure219的博客
08-12 2204
我们描述了一种基于变分自动编码器的端到端可训练图像压缩模型。该模型结合了超先验来有效捕获潜在表示中的空间依赖性。这个超先验与辅助信息有关，这是一个几乎所有现代图像编解码器都通用的概念，但在使用人工神经网络 (ANN) 的图像压缩中很大程度上尚未得到探索。与现有的自动编码器压缩方法不同，我们的模型与底层自动编码器联合训练复杂的先验。我们证明，当使用流行的 MS-SSIM 指数测量视觉质量时，该模型可以实现最先进的图像压缩，并且当使用更传统的基于度量的评估时，其率失真性能超过已发布的基于 ANN 的方法。
【图像/视频压缩】论文笔记整理
weixin_46093544的博客
03-23 5430
压缩 图像压缩 视频压缩
深度学习图像压缩基础及经典讲解
officewords的博客
10-28 1362
在极低的码率下，保证图像重建的质量。LRλD通常L是损失函数，R是码率，D是重建后与原图的失真，λ 是控制率失真权衡的系数。
CVPR2020:基于GMM和Attention的图像压缩的论文学习
weixin_45178274的博客
04-19 549
论文地址：https://arxiv.org/pdf/2002.01657.pdf代码地址：https://github.com/ZhengxueCheng/Learned-Image-Compression-with-GMM-and-Attention现在基于深度学习的图像压缩方法有着快速的发展同时也有着令人满意的结果，但是，在和现行压缩标准之间仍然存在性能差距，尤其是在广泛使用的PSNR度量方面。
image-compression-master_imagecompression_
10-03
"image-compression-master_imagecompression_" 这个标题表明这是一个关于图像压缩的项目，使用了深度神经网络（DNN）技术。"master"通常指的是项目的主分支，暗示这是一个完整且成熟的实现。 【描述解析】 "image ...
Network Economics: A VARIATIONAL INEQUALITY APPROACH[Anna_Nagurney].pdf
06-14
Network Economics: A VARIATIONAL INEQUALITY APPROACH （by Anna_Nagurney)
基于卷积神经网络的端到端多光谱图像压缩方法
02-13
针对多光谱图像的空谱相关特性,提出一种基于卷积神经网络的端到端多光谱图像压缩方法。编码端,将多光谱数据整体输入到多光谱图像压缩网络中,采用卷积提取多光谱图像的主要光谱特征与空间特征,使用下采样减小特征数据的尺寸,并通过率失真优化控制光谱特征与空间特征数据的熵,使空谱特征数据分布更加紧凑,将量化后的中间特征数据进行无损熵编码得到压缩码流。解码端,码流经过熵解码、逆量化、上采样、反卷积的逆变换过程重构多光谱图像。实验结果表明,相同码率下该方法能有效保留多光谱图像谱间信息,并在图像恢复质量上比JPEG2000平均高约2 dB。
基于深度学习CNN的图像压缩编码技术研究.pdf
08-18
基于深度学习CNN的图像压缩编码技术研究.pdf
<>
10-09
音视频编解码技术的经典之作，JPEG，MPEG-1， MPEG-2，MPEG-4，H263，H264编码原理
基于深度学习的MRI稀疏重建项目.zip
03-28
《基于深度学习的MRI稀疏重建项目》是一个深入探索人工智能在医疗影像处理领域的应用实例，主要涉及深度学习技术和磁共振成像（MRI）的稀疏重建。在这个项目中，我们将探讨如何利用深度学习模型来优化MRI扫描过程，...
【图像编码】基于信息熵理论的端到端图像编码中熵编码的概率估计
weixin_43693967的博客
09-18 440
独立熵：HX−∑x∈X​logPx，表示X的不确定性条件熵：HY∣X−∑x∈X​∑y∈Y​PxylogPy∣x，表示在已知 X 的情况下，Y 的不确定性。联合熵：HXYHXHY∣XHYHX∣Y互信息：IX;YHXHY−HXYHX−HX∣YHY−HY∣X如果X与Y独立，则互信息为0简单理解条件熵：条件越多，事件的不确定性就越小，熵就越小。
深度学习在图像压缩领域中的应用
ZZX0804的博客
10-17 1786
简要说明了深度学习在图像压缩领域中的应用，并且对三种方法进行总结对比。
深度学习+压缩感知的图像压缩论文分享
Lynxse的博客
11-24 2041
（分块压缩的老问题了）现有的基于神经网络的压缩感知模型绝对多数都关注卷积来捕获图像局部特征，但这也导致建模全局关系时受到限制，而且这些模型的效率比较低，一直在用卷积层的堆叠，这就是作者要重新设计一个神经网络，使其学习图像子块间的全局关系的原因。proj的每个h都是第h个头部的线性投影，d是输入维度，attn（）表示缩放的点积函数，concat（）是用于将头部的离散注意力拼接在一起的函数，拼接后得到输出。初始重构后的结果仍然存在很强的块效应，而且它还是欠拟合的，不过是能用较低的容量保持了图像的信息。
（干货）ICLR论文自评分——论文名和翻译
xunan003的博客
12-07 4331
英文名： Certifiable Distributional Robustness with Principled Adversarial Training 9.0 On the Convergence of Adam and Beyond 8.5 Emergence of grid-like representations by training recurrent
继续深度学习的图像压缩算法
05-22
近年来，基于深度学习的图像压缩算法受到了越来越多的关注。下面列举一些最近的研究进展： 1. End-to-End Optimized Image Compression via Learned Representation and Quantization（Toderici et al., 2017）：该论文提出了一个基于深度学习的图像压缩算法，使用了自编码器和量化方法，其中自编码器的编码器和解码器均为卷积神经网络，可以通过学习得到更好的图像表示。 2. Learning Convolutional Networks for Content-weighted Image Compression（Li et al., 2018）：该论文提出了一种基于内容加权的图像压缩算法，通过在编码过程中使用注意力机制，对不同的图像区域进行不同的压缩率，从而得到更好的压缩效果。 3. Deep Image Compression via End-to-End Learning of Recurrent Convolutional Networks with In-Picture Gate（Balle et al., 2018）：该论文提出了一种基于递归卷积神经网络的图像压缩算法，使用了一个称为“In-Picture Gate”的门控机制，可以对不同的图像区域进行不同的压缩率。该算法可以自适应地调整压缩率，以平衡压缩率和图像质量。 4. Variational Autoencoder Based Image Compression with a Basic Unit of Multi-Scale Residual Channel Attention Networks（Liu et al., 2019）：该论文提出了一种基于变分自编码器和多尺度残差通道注意力网络的图像压缩算法，其中注意力机制可以在不同的尺度上对图像进行处理，从而得到更好的压缩效果。 这些算法都是基于深度学习的图像压缩算法的最新研究进展，它们在图像压缩方面都有很好的性能表现。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值