IMAGEN VIDEO: HIGH DEFINITION VIDEO GENERATION WITH DIFFUSION MODELS

已于 2023-06-25 20:54:07 修改
阅读量478 收藏 1
点赞数 1
文章标签： 人工智能 深度学习
于 2023-06-25 20:52:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lcx559/article/details/131381592
版权

IMAGEN VIDEO: HIGH DEFINITION VIDEO GENERATION WITH DIFFUSION MODELS

video 减小模型 multi-concept 机器人

abstract

提出一种基于级联的视频扩散模型，将基于扩散的图像生成模型以及渐进蒸馏应用于该模型中。
该工作总将64帧128128的视频扩展为128帧1280768的视频，每秒24帧播放。
主要架构包含了T5文本编码器，一个基础视频扩散模型，以及交错空间和时间超分辨率扩散模型。

Method

级联扩散模型

级联扩散模型生成低分辨率的图像或视频，然后通过一系列超分辨率扩散模型依次提高图像或视频的分辨率。
整体框架
在这里插入图片描述
包含一个冻结的文本编码器，一个基本的视频扩散模型，3个SSR（空间超分）和3个TSR（时间超分）模型。SSR增加所有帧的空间分辨率，TSR通过填充帧增加时间分辨率。
每个扩散模型可以独立训练。
这里使用时间卷积，而不是时间注意力

工作建立于U-Net上，利用视频扩散模型同时对多个视频帧进行操作，一次生成整个视频帧块
在这里插入图片描述
利用渐进蒸馏实现扩散模型的快速采样。利用一个两阶段的蒸馏，在无分类指导下蒸馏DDIM采样器，
在这里插入图片描述

Experiment

在由1400万个视频-文本对和6000万个图像-文本对组成的内部数据集以及公开可用的LAION-400M（https://laion.ai/blog/laion-400-open-dataset/）图像-文本数据集的组合上训练我们的模型。

无code！！！！

Lcx559
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Diffusion Models专栏文章汇总：入门与实战
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
imagen library:简单的，面向对象的图像编码器/解码器-开源
04-25
imagen是一个简单的，面向对象的成像库，旨在轻松地对图像进行编码/解码，它为常见的图像文件格式提供了半高级的读写功能，几乎可以在任何软件应用程序中使用。
视频生成模型作为世界模拟器
NLP工程化
02-17 1292
这份技术报告集中于（1）我们将所有类型的视觉数据转换为统一表示的方法，该方法使得生成模型的大规模训练成为可能；以及（2）对Sora能力和限制的定性评估。模型和实现细节不包含在此报告中。
2022年最有开创性的10篇AI论文总结
AI蜗牛车
01-04 372
转载：Deephub Imba2022年随着聊天GPT和Mid - journey和Dall-E等图像生成器的流行，我们看到了整个人工智能领域的重大进展。在人工智能和计算机科学的时代，这是令人振奋的一年。本文我们总结了在2022年发表的最具开创性的10篇论文，无论如何你都应该看看。1、Alpha Tensor: Discovering faster matrix multiplication al...
OpenAI 生成视频模型 Sora 论文翻译
weixin_46300916的博客
02-16 2225
本技术报告的重点是 (1) 将所有类型的视觉数据转换为统一表示，以便对生成模型进行大规模训练的方法，以及 (2) 对索拉的能力和局限性的定性评估。该报告不包括模型和实现细节。许多先前的工作使用各种方法研究了视频数据的生成建模，包括循环网络，[1][2][3] 生成对抗网络，[4][5][6][7] 自回归变压器，[8][9] 和扩散模型。[10][11][12] 这些工作通常侧重于视觉数据的一个狭窄类别、较短的视频或固定尺寸的视频。
一句话生成长视频
qq_30232405的博客
11-04 1772
前段时间，我曾经介绍过Imagen Video模型。它能够在输入一句话中，生成5~6秒的视频。而且由于采用了“空间高分辨率模型”和“时域高分辨率模型”的级联模型，它能够清晰度在1280×768的高清视频。虽然Imagen Video模型，能够生成高清晰度的短视频，但是仅仅只有5秒左右的时间，因此实际的用处并不到。为了克服这个缺点，谷歌也进一步发布了Phenaki模型。
Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0
热门推荐
结构之法 算法之道
11-27 1万+
第一种是基础模式（Basic Mode），用户只需要提供一张指导图片+文本描述，PixelDance 就可以生成有高度一致性且有丰富动态性的视频，其中指导图片可以是真实图片，也可以利用现有的文生图模型生成。而达到这样拔群的视频生成效果，并没有依赖复杂的数据集和大规模的模型训练，PixelDance 在公开的 WebVid-10M 数据集上仅用 1.5B 大小的模型就达到了上述效果。)，引发了开源社区的大量关注和讨论。迈出了关键性的一步，其生成结果的动态性显著优于目前现有的其它模型，引起了业界的关注。
行业洞察 | 文本生成视频，Meta、Google哪家更胜一筹？
weixin_47718443的博客
10-13 1999
近期，Meta和Google在文本生成图片的基础上更进一步，相继推出文本、语音生成视频的黑科技。
AI教程之谷歌的新 Imagen 视频从文本生成视频
iCloudEnd的博客
10-11 3879
谷歌发布了Imagen Video，这是一个可以根据文本提示生成视频的 AI 系统。这看起来像是 Google 对Meta (Facebook 2.0)最近宣布的 Make-A-Video的回应。这是初步结果的样子。Imagen Video 在 1400 万个视频-文本对和 6000 万个图像-文本对以及公开可用的 LAION-400M 图像-文本数据集上进行训练，使其能够以每秒 24 帧的速度生成 1280x768 视频。
短视频模型Imagen Video：艺术和3D建模大师
qq_30232405的博客
10-22 2032
看到Imagen这个字眼，那不是前阵子很火的文本图像生成圈的一个模型吗？这不，谷歌在10月份基于这个模型的基础上，发布了能够生成短视频的Imagen Video，是基于文本条件生成视频的模型。给定相应的文本提示，在基于“视频生成模型”和“交错时空视频流超分辨率模型”，Imagen Video能够生成高清晰度的视频。在论文中，主要描述了如何构建一个高清晰度的文本视频生成模型。比如，在特定分辨率下，如何选择完全卷积时域和空间超分辨率模型，以及如何选择扩散模型中的参数。
论文学习——VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation
胖虎的博客
03-26 829
文本-视频生成
imagen_processing:图像数据处理
08-03
Imagen MRI数据处理 fsl_dti 使用 FSL 预处理 DTI 数据。 freesurfer 使用 FreeSurfer 分割结构 MRI 数据。 tbss_dti 使用 mrtrix、dtitk、ants 和 fsl 对 DTI 数据进行预处理。 onsets_contrasts 从 CSV ...
Procesamiento-Imagen:Google Colab图像处理简介
04-15
处理图像Google Colab图像处理简介
Subida-de-imagen：预览的Intentando subir图像。
02-20
ida田 手绘卡通可爱小动物素材图片免费下载高清psd千库网图片编号...
granRescate:Video juego creado en Unity para la materia INF-281
03-31
El Gran Rescate El Gran对视频进行了控制，并在视频中对视频进行了处理。 Durante el juego el gatotenterá... [Adobe Photoshop]（ ）Herramienta deEdiciónde Imagen。 [Adobe AfterEffects]（ ）动画。 [Pisk
AI最新进展介绍——文生视频OpenAI Sora
weixin_45583967的博客
02-23 834
中引入的重配字幕技术应用于视频。我们发现，在高度描述性的视频字幕上进行训练可提高文本的保真度以及视频的整体质量。我们发现，对于在不同类型的视频和图像上训练生成模型来说，补丁是一种高度可扩展且有效的表示方法。在下面的示例中，中间的视频插接在左右两边相应的视频之间。今天所拥有的能力证明，不断扩大视频模型的规模，是开发物理和数字世界以及其中的物体、动物和人的功能模拟器的一条大有可为的道路。这些功能表明，继续扩大视频模型的规模，是开发物理和数字世界以及其中的物体、动物和人的高功能模拟器的一条大有可为的途径。
视频生成模型：构建虚拟世界的模拟器 [译]
myboyliu2007的专栏
02-20 1633
我们致力于在视频数据上开展生成模型的大规模训练。具体来说，我们针对不同时长、分辨率和宽高比的视频及图像，联合训练了基于文本条件的扩散模型。我们采用了一种 Transformer 架构，这种架构能够处理视频和图像潜在编码的时空片段。我们的最大型号模型，Sora，能生成高质量的一分钟视频。我们的研究显示，扩展视频生成模型的规模是向着创建能够模拟物理世界的通用工具迈出的有前途的一步。本技术报告主要介绍了两方面内容：(1) 我们如何将各种类型的视觉数据转化为统一的表示形式，从而实现生成模型的大规模训练；
（一文读懂）【OPEN AI SORA技术报告】视频生成模型SORA作为世界模拟器-Video generation models as world simulators
最新发布
u011376987的博客
02-26 1852
我们探索了在视频数据上进行大规模生成模型的训练。具体来说，我们联合训练了文本条件扩散模型，这些模型适用于不同时长、分辨率和纵横比的视频和图像。我们利用了一种基于Transformer的架构，该架构可以对视频和图像的潜在编码进行时空块操作。我们最大的模型Sora能够生成一分钟的高保真视频。我们的结果表明，扩展视频生成模型是构建通用物理世界模拟器的一条有前景的途径。本技术报告主要关注两个核心方面：(1) 我们提出的方法，该方法能够将各种类型的视觉数据转化为统一表示，从而支持生成模型的大规模训练；
人人都是电影「导演」！MSRA联合北大出品
深度学习技术前沿
08-15 65
来源：新智元自从Stable Diffusion和Midjourney爆火之后，人们见识到了人工智能技术在图片生成领域的强大实力。而Stable Diffusion的开源，又进一步促进了定制化生成模型社区的建立，使得图片生成得到了长足的发展。然而，在更复杂、表达内容更丰富的视频生成领域，却缺乏一个有能力生成高质量视频内容的模型，对于下游不同类型的视频例如电影和短视频的创作也更是「天方夜谭」。为了打...
imagen video怎么使用
09-19
Imagen video是一种云端视频管理平台，它提供了一种简单和高效的方式来存储、组织和分享视频内容。下面是使用Imagen video的步骤： 1. 创建账户：首先，你需要在Imagen video的官方网站上创建一个账户。填写必要的信息并完成注册流程。 2. 上传视频：登陆后，你可以点击“上传视频”按钮选择要上传的视频文件。Imagen video支持多种视频格式，包括MP4、AVI等。 3. 组织和管理视频：一旦视频上传完成，你可以通过创建不同的文件夹和标签来组织和管理你的视频库。这可以帮助你轻松地找到和浏览你的视频内容。 4. 共享视频：Imagen video允许用户与团队或合作伙伴共享视频内容。你可以设置不同的权限，确定其他人对视频的访问和编辑权限。 5. 搜索视频：当你有大量视频文件时，Imagen video提供强大的搜索功能，你可以通过关键词或标签快速找到所需的视频。 6. 监控和分析：Imagen video提供实时的视频分析和统计数据。这可以帮助你了解你的视频的受欢迎程度和表现情况。 总之，Imagen video是一个功能强大且易于使用的视频管理平台。通过简单的几个步骤，你可以轻松地上传、组织、共享和分析你的视频内容。无论是个人使用还是团队协作，Imagen video都是一个理想的选择。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值