Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models

最新推荐文章于 2024-05-16 10:30:53 发布
最新推荐文章于 2024-05-16 10:30:53 发布
阅读量859 收藏 3
点赞数 1
文章标签： 人工智能 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lcx559/article/details/131386992
版权

Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models

Abstract

首先在图像数据集上训练LDM，同时将时间维度引入latent space，并对编码的图像序列进行微调，从而健图像生成器转变为视频生成器。
project web：https://nv-tlabs.github.io/VideoLDM/
motivation： 高分辨率真实单词驾驶数据视频合成；创意内容生成的文本引导视频合成
在LDMs基础上提出，将LDM扩展到高分辨率视频生成。
通过将时间维度引入潜在空间，在编码的图像序列上训练这些时间层，同时固定预先训练的空间层。
在这里插入图片描述
引入时间微调前，生成视频中的图片是独立的，引入微调之后生成的图片便是视频序列。

通过微调解码器实现空间中时间的一致性在这里插入图片描述

contribution：

  1. 提出一种有效的方法基于LDM实现高分辨率、长期一直的视频生成模型，在预训练的diffusion model中插入时间层将其转化为视频生成器。
  2. 对超分辨率diffusion和时间进行微调
  3. 在真实驾驶场景视频上实现了最先进的高分辨率视频合成性能

Method

Turning Latent Image into Video Generators

通过引入额外的时间神经网络层，与现有的空间层交错，学习时间一致额方式对齐各个帧。
在这里插入图片描述
左图中，将帧对齐到时间一致序列的时间层，将与训练的LDM变为视频生成器。右图中，模型θ将输入的序列解释为一批图像，利用时间层将图像整形为视频格式。（类残差设计）
在这里插入图片描述
简而言之，空间层是对每个视频帧独立处理，而时间层是在整个时间维度T中处理整个视频。

长视频生成

上述方法对于短视频的生成时有效的，但是对于超长视频生成却无能为力。

Framework：

Lcx559
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【CVPR 2023】Diffusion Models高分辨率长视频生成 Align your Latents
沉迷单车的追风少年
10-23 1242
CVPR 2023年的工作《Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models》实现了高帧率高分辨率长视频生成，并在保持时间一致性上做了很多工作。这篇博客详细解读一下背后的原理，并总结一下值得借鉴的地方。
论文学习——Video LDM (Align your Latents)
胖虎的博客
04-26 4298
Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
超详细!!!一文理解High-Resolution Image Synthesis with Latent Diffusion Models
最新发布
m0_58969377的博客
05-16 1204
图像合成是计算机视觉领域内快速发展且计算需求巨大的一个分支。扩散模型（DM）通过将图像形成过程分解为一系列去噪自编码器的应用，已经在图像数据及其他领域的合成上达到了最先进水平。这些模型的一个独特之处在于其可引导机制，允许在不重新训练的情况下控制图像生成过程。然而，传统上直接在像素空间操作的扩散模型往往需要大量的GPU天数来优化，并且由于序列评估导致推理成本高昂。
【AIGC-文本/图片生成视频系列-8】Align your Latents: 基于潜在扩散模型的高分辨率视频合成
sinat_19868271的博客
01-11 996
回顾LDM的优势：潜在扩散模型 (LDM) 可实现高质量图像合成，同时通过在压缩的低维潜在空间中训练扩散模型来避免过多的计算需求。本文将 LDM 范式应用于高分辨率视频生成，这是一项特别资源密集型的任务。具体步骤如下：1. 首先仅在图像上预训练 LDM；2. 然后，通过向潜在空间扩散模型引入时间维度并对编码图像序列（即视频）进行微调，将图像生成器变成视频生成器。类似地，我们在时间上对齐扩散模型上采样器，将它们转变为时间一致的视频超分辨率模型。1. 提出了一种有效的方法来训练基于LDM的。
4、High-Resolution Image Synthesis with Latent Diffusion Models
小白的博客
03-04 2784
diffusion
大模型论文周报丨来自清华大学、Meta AI、微软、KAUST等机构前沿科研动态
AITIME_HY的博客
04-28 623
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！大模型又可以称为Foundation Model模型，模型通过亿级的语料或者图像进行知识抽取，学习进而生产了亿级参数的大模型。大模型的出现迎来了AI研究的新时代，其所带来的结果提升十分显著，超越了很多领域中针对研究问题设计特定算法实现的提升。本周精选了10篇大模型领域的优秀论文，分别来自清华大学、Meta AI、微软、KAUST等机构。为了...
每日学术速递4.20
与君共勉，一起学习
04-20 804
标题：化身长腿：使用扩散模型从稀疏跟踪输入生成平滑的人体运动作者：Yuming Du, Robin Kips, Albert Pumarola, Sebastian Starke, Ali Thabet, Artsiom Sanakoyeu文章链接：https://arxiv.org/abs/2304.08577项目代码：https://dulucas.github.io/agrol/摘要： 随着近期 AR/VR 应用程序的流行，对 3D 全身化身的逼真和准确控制已成为人们迫切需要的功能。一个
High-Resolution Image Synthesis with Latent Diffusion Models.pdf
05-18
High-Resolution Image Synthesis with Latent Diffusion Models Latent Diffusion Model（LDM）是一种基于自编码器的序贯去噪自编码器，可以生成高分辨率图像。该模型可以在latent空间中进行训练，从而大幅减少...
ug871-vivado-high-level-synthesis-tutorial.pdf
05-13
High-Level Synthesis，UG871 (v2018.3) December 5, 2018。This Vivado® tutorial is a collection of smaller tutorials that explain and demonstrate all steps in the process of transforming C, C++ and ...
ug902-vivado-high-level-synthesis（中文）.pdf
08-09
ug902-vivado-high-level-synthesis（中文）、HLS学习必备开发文档
high-resolution image synthesis with latent diffusion models
liguandong
12-26 4862
vae的生成器，是将标准高斯映射到数据样本，vae的后验是将数据样本映射到标准高斯（学出来的）。我现在想要设计一种方法A，使得A用一种简单的变分后验将数据样本映射到标准高斯，并且使得A的生成器，将标准高斯映射到数据样本，注意，因为生成器的搜索空间大于变分后验，vae的效率远不及A方法，因为A是学一个生成器（搜索空间大），所以可以直接模仿这个后验分布的一小步，A方法就是括但模型核心思路：定义一个类似于变分后验的从数据样本到高斯分布的映射，然后学一个生成器，这个生成器模仿我们定义的这个映射的每一小步。
论文阅读--High-Resolution Image Synthesis with Latent Diffusion Models
weixin_47628481的博客
12-30 1053
Diffusion model相比GAN可以取得更好的图片生成效果，然而该模型是一种自回归模型，需要反复迭代计算，因此训练和推理代价都很高。论文提出一种在潜在表示空间（latent space）上进行diffusion过程的方法，从而能够大大减少计算复杂度，同时也能达到十分不错的图片生成效果。扩散模型是一类概率模型，设计用于通过逐渐去噪正态分布变量来学习数据分布pxp(x)px，这相当于学习固定马尔可夫链长度TTT的逆过程。
LVDM（Latent Video Diffusion Models for High-Fidelity Long Video Generation）
Are_you_ready的博客
03-11 925
这个操作就是不拿z0进行条件化，而是拿任意时间s（s属于时间步t内的值），zs作为训练期间的条件，即不是拿zi0去做条件，而是拿zis去做条件。尽管上述分层生成方式可以减少自回归步骤的数量，以克服质量下降的问题，但为了生成足够长的视频样本，更多的预测步骤是必不可少的。因此，我们提出了一个条件潜在扩散模型，该模型可以以自回归的方式根据前一个潜在码生成未来潜在码，以促进长视频的生成。给每个编码帧添加一个掩码m，m为1则为条件帧，需要将这个帧替换为没有加噪的帧，也就是替换为zi0。感觉也是在分层插帧那用到。
【论文阅读】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_57974242的博客
11-02 2019
为了降低训练扩散模型的算力，LDMs使用一个Autoencoder去学习能尽量表达原始image space的低维空间表达（latent embedding），大大减少需要的算力。在RGB空间：编码器encoder：，将x压缩成低维表示解码器decoder: D，将低维表示z还原成原始图像空间。1. 加入Autoencoder（上图中左侧红色部分），使得扩散过程在latent space下，提高图像生成的效率；
论文笔记High-Resolution Image Synthesis with Latent Diffusion Models
icylling的专栏
12-19 3070
该论文在预训练的自编码器的隐含空间中训练扩散模型，并使用cross-attention机制为扩散模型引入条件。
【文献阅读笔记】High-Resolution Image Synthesis with Latent Diffusion Models
weixin_43480392的博客
11-01 1127
通过将图像形成过程分解为去噪自动编码器的连续应用，diffusion models(DMs)在图像数据上取得了最先进的合成结果。此外，他们的公式允许用于控制图像生成过程而不需要重新训练的导向机制。不过，由于这些模型通常直接在像素空间操作，优化强大的 DM 通常消耗数百个 GPU，并且由于连续评估，推论是昂贵的。为了使DM能够在有限的计算资源训练，同时保留其质量和灵活性，文中作者将其应用于强大的预训练自动编码器的潜在空间中。
High-Resolution Image Synthesis with Latent Diffusion Models
u013600306的博客
04-08 133
第2点在于引入prompt时，使用了互注意力。原来的UNet的每层后接的nonlocal的自注意力，本质就是自相关，这里为了引入prompt，换成了prompt和每层输出特征的互相关。所谓隐扩散模型，就是将高维像素空间映射到低维隐变量空间，这里用的是VAE编解码器。其实就是将扩散模型嵌套进了VAE中。该论文的主要创新点就是VAE+扩散模型。Stable diffusion的基础架构。
【CVPR 2022】（LDM）High-Resolution Image Synthesis with Latent Diffusion Models
简单记录生活、学习
11-22 4876
详细解读Latent Diffusion Models：原理和代码

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值