Perceptual Compression与Semantic Compression的含义

最新推荐文章于 2025-05-07 18:56:34 发布
最新推荐文章于 2025-05-07 18:56:34 发布
阅读量612 收藏 3
点赞数 2
文章标签： stable diffusion
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45560230/article/details/133278755
版权

这是我在读LDMS的学到的
在这里插入图片描述
Perceptual Compression 保留人类能够感知的重要信息，例如纹理，局部边缘等
Semantic Compression 保留数据的实际意义，例如图片包含了人物、建筑，人物之间的关系等

high-resolution image synthesis with latent diffusion models
liguandong
12-26 5228
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
扩散模型+CV与NLP科研笔记专栏文章汇总：【Diffusion Models】
zik的博客
04-04 5090
CLIP是一个多模态的大模型，用了4亿个（图像、文本）对进行对比学习，学习之后可以直接进行zero-shot推理，并且不需要像ImageNet那样标注1000个类，而是可以人为给出文本提示，进行图片和文本之间的相似度计算，而且迁移效果很好。那么基于此，提出了Classifier-Free Diffusion Guidance，后续非常多的工作都是基于其来进行的，例如DALL·E 2、Imagen等吸引人眼球的模型基本上都是以它为基础做的。直接用训练好的非条件的扩散模型，无需重复训练。
用于语义和目标导向压缩的机器学习技术-笔记
weixin_56841365的博客
11-20 485
取自Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications，主要是阅读其第四章的笔记
【扩散模型】3、Stable Diffusion 原型 | High-Resolution Image Synthesis with Latent Diffusion Models
呆呆的猫的博客
04-02 1760
本文主要介绍 stable diffusion 原型—— Latent diffusion models
High-Resolution Image Synthesis with Latent Diffusion Models翻译
nopSled
03-04 715
图像合成是最近提出的计算机视觉领域之一，但也是计算量需求最大的领域之一。尤其是复杂，自然场景下的高分辨率图像合成，目前主要由基于似然的大模型来进行生成，该模型由具有数十亿个参数自回归（AR）transformers组成。相反，由于对抗学习过程不容易扩展到建模复杂、多模态的分布，因此已经揭示出GAN结果的大部分仅限于相当有限的可变数据。最近，基于分层去噪自编码器构建的扩散模型已证明在图像合成和其它领域中取得了令人印象深刻的结果，并以类别为条件的图像合成和超分辨率上达到了SOTA。
【多模态大模型】Latent Diffusion：在潜在空间而非像素空间进行操作，从而减少了计算复杂度
Debroon
02-05 4063
潜在扩散（Latent Diffusion）是一种处理和生成图像的方法，它通过在潜在空间而非直接在像素空间处理数据来提高效率和质量。
基于深度学习的图像压缩
热门推荐
爱破破爱科研
12-30 1万+
近年来，深度学习在计算机视觉领域已经占据主导地位，不论是在图像识别还是超分辨重现上，深度学习已成为图片研究的重要技术，但它们的能力并不仅限于这些任务；现在深度学习技术已进入图片压缩领域。下面就说说神经网络在图像压缩领域的应用。 当前主要图片压缩算法 说到图像压缩算法，目前市面上影响力比较大的图片压缩技术是WebP和BPG WebP：谷歌在2010年推出的一款可以同时提供有损压缩和无损压缩的图...
Deep Learning-Based Video Coding: A Review and A Case Study
weixin_30325487的博客
06-13 2179
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ 1、Abstract: 　　本文主要介绍的是2015年以来关于深度图像/视频编码的代表性工作，主要可以分为两类：深度编码方案以及基于传统编码方案的深度工具。对于深度编码方案，像素概率建模和自动编码器是两种方法，分别可以看作是预测编码方案和变换编码方案。对于深度工具，有几种使用深度学习来执行帧内预测、帧间预测、跨通道预测、概率分...
[论文笔记]Protecting JPEG Images Against Adversarial Attacks (Augmented MS-ROI)
weixin_43972712的博客
10-27 1347
研究背景
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
Cross Modal Compression: Towards Human-comprehensibleSemantic Compression 论文笔记
qq_42014059的博客
11-16 775
需要提前了解的知识点： 跨模态压缩 是一种面向多种媒体数据的语义压缩框架，它将图像，视频等高语义冗余的数据借助跨模态翻译模型转为文本，语义图，素描图等低语义冗余的数据。 这种低语义冗余的数据具有码率低和人类可理解等特点，实现了极高的压缩比，同时还可以在不解压的情况下实现语义监督。 码率 码流(Data Rate)是指视频文件在单位时间内使用的数据流量，也叫码率或码流率，通俗一点的理解就是取样率,是视频编码中画面质量控制中最重要的部分，一般我们用的单位...
Stable Diffusion：一种新型的深度学习AIGC模型
LANHYGPU的博客
04-07 1657
随着生成型AI技术的能力提升，越来越多的注意力放在了通过AI模型提升研发效率上。业内比较火的AI模型有很多，比如画图神器Midjourney、用途多样的Stable Diffusion，以及OpenAI此前刚刚迭代的DALL-E 2。 对于研发团队而言，尽管Midjourney功能强大且不需要本地安装，但它对于硬件性能的要求较高，甚至同一个指令每次得到的结果都不尽相同。相对而言，Stable Diffusion因具备功能多、开源、运行速度快，且能耗低内存占用小成为更理想的选择。
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
Drug discovery
11-22 6024
详细解读Latent Diffusion Models：原理和代码
【图像压缩】CLIC2021 Winner 《Perceptual Learned Image Compression With Continuous Rate Adaptation》
hahalidaxin的专栏
06-26 1708
updating...... CLIC2021 Image赛道获胜者 1 绪论 本文提出了一种感知学习图像压缩框架，使用率失真、感知和对抗损失用端到端的方式训练网络。为了有效给不同图像区域分配比特数，在可变比特率自适应框架中提出了感兴趣区域（ROI）技术。本文还研究了低比特率（0.075 bpp）下的训练稳定性以及 E2E 优化框架相对于后处理框架的优越性。本文提出的框架在宽比特范围上获得了很好的重建效果。 2 提出的方法 2.1 网络结构 框架包括编码器、生成器和熵模型，熵.
VAE和Stable Diffusion的关系
weixin_46028606的博客
05-07 286
VAE和Stable Diffusion的关系
ACE-Step - 20秒生成4分钟完整歌曲，音乐界的Stable Diffusion，支持50系显卡 本地一键整合包下载
最新发布
AI人工智能影像技术博客
05-07 309
该模型以其惊人的生成速度和多样化功能引发行业热议，支持19种语言，可在短短20秒内生成一首长达4分钟的完整音乐作品，效率比主流模型快15倍以上。同时支持英语，中文，俄语，西班牙语，日语，德语，法语，葡萄牙语，意大利语，韩语等多国语言。ACE-Step 和之前发布的 DiffRhythm 类似，可以用于一键生成音乐歌曲，但也有相同的问题，就是漏字问题严重，期待后期能解决这个历史问题。输入需要生成歌曲的歌词，其他参数可以默认，只调节生成时长及生成歌曲风格标签。同时支持在线编辑歌词，一键重绘，延长等。
Dify - Stable Diffusion
qq_60245590的博客
05-06 335
Stable Diffusion 是一种基于文本提示生成图像的工具，Dify 已经实现了访问 Stable Diffusion WebUI API 的接口，因此你可以直接在 Dify 中使用它。你需要从 HuggingFace 或其他来源下载模型，并将其放在 Stable Diffusion WebUI 的 目录中。推荐使用装有较强 GPU 的机器来安装和驱动 Stable Diffusion，但这并不是必须的，你也可以使用 CPU 来生成图像，但速度可能会很慢。，但我们仍然需要获取模型名称，访问。
AIGC算力消耗白皮书：Stable Diffusion vs Midjourney的架构成本差异
像风一样自由
05-03 1013
当我们在H800集群上实现Stable Diffusion推理成本降低至每图$0.007时，这不仅验证了硬件优化的重要性，更揭示了AIGC产业的底层规律——‌模型架构的每一次进化，都是对算力资源的重新定价‌。对于算力平台运营商而言，理解SDXL与Midjourney的架构差异，意味着能在H800集群的轰鸣声中捕捉到下一波技术红利的频率。
stable Diffusion模型结构
weixin_43576024的博客
05-07 550
noise_pred已经是噪声了，直接用噪声图片减去这个noise_pred，不就得到最终的图片了吗 为什么还要scheduler.step。# 2. 通过调度器 scheduler 从 z_t 计算出 z_{t-1}# 3. 将噪声图像和文本特征一起输入 U-Net。采样器原来是我一直以来说的减去的操作，就是噪声已经生成出来了其实。# 这里简单地将潜在图像的输出处理为一个可视化的图像。# 1. 获取文本的潜在向量。# 将文本转换为潜在向量。# 4. 返回生成的图像。# 1. 预测当前时间步 t 的噪声。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宋加油啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值