解读谷歌视频生成模型代表作：Lumiere A Space-Time Diffusion Model for Video Generation

已于 2024-02-06 16:45:19 修改
阅读量617 收藏 19
点赞数 16
分类专栏： Diffusion Models与深度学习 文章标签： 视频生成 视频编辑 AIGC 扩散模型
于 2024-02-05 10:21:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41895747/article/details/135898416
版权
谷歌的Lumiere模型采用时空U-Net（STUNet）架构，解决了关键帧+插帧/超分思路的缺点，提供更好的时序一致性。该模型能直接生成全帧速率、低分辨率视频，通过多尺度时空处理，提高视频生成质量。文章还探讨了风格图像生成、条件生成等方法，并对实验结果进行了分析。
摘要由CSDN通过智能技术生成

Diffusion Models视频生成-博客汇总

前言：前段时间谷歌发布了基于LLMs的视频生成模型VideoPoet，这种信仰Transformers的做法就很Google。大家都以为2024年视频生成会是LLMs和SD两条路线之争，但是谷歌很快就发布了基于SD的视频生成模型Lumiere，这波直接偷家了？这篇博客详细解读Lumiere的改进点和带给我们的启示。

目录

贡献概述

关键帧+插帧/超分思路的缺点

方法详解

核心思想

STUNet结构

风格图像生成

条件生成

实验结果

论文和代码

个人感悟

贡献概述

与现有的远距离关键帧和时间超分辨率的视频生成模型相比，他们都是一种本质上难以实现全局时

了解本专栏 订阅专栏 解锁全文 超级会员免费看
[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航
勿忘初心,方得始终
02-07 1617
文本到图像模型允许用户通过自然语言指导图像生成过程，从而提供了新的创造性灵活性。然而，使用这些模型在不同的提示中一致地描绘同一主题仍然具有挑战性。现有的方法对模型进行微调，教它描述特定用户提供的主题的新词，或者给模型添加图像条件。这些方法需要长时间的每个受试者的优化或大规模的预训练。此外，他们很难将生成的图像与文本提示对齐，并在描绘多个主题时面临困难。在这里，我们提出了ConsiStory，这是一种免训练的方法，通过共享预训练模型的内部激活来实现一致的主题生成。
CV论文--2024.1.29
u012854516的专栏
01-29 481
与现有的视频模型相比，后者合成远距离的关键帧，然后进行时间上的超分辨率处理，而这种方法往往难以实现全局时间的一致性。通过在空间和时间上进行（重要的）下/上采样，并利用预训练的文本到图像扩散模型，我们的模型能够直接生成全帧速率、低分辨率视频，并在多个空间时间尺度上进行视频处理。在广泛的基准测试中，我们最强大的Gemini Ultra模型在32个测试中有30个取得了最新的进展，特别是在备受关注的多模态基准测试MMLU上，首次实现了人类专家的表现，并在我们检查的20个多模态基准测试中提高了现有技术水平。
Diffusion Models视频生成-博客汇总
沉迷单车的追风少年
10-28 3526
Diffusion Models视频生成-博客汇总
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
生成式~扩散模型
whaosoft143ai的博客
02-02 1244
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
[晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉导航
勿忘初心,方得始终
01-25 2213
高保真虚拟环境的最新进展是构建智能具体化代理以感知、推理和与物理世界交互的主要驱动力之一。通常，这些环境保持不变，除非代理与它们交互。然而，在现实世界的场景中，代理还可能面临以意外事件为特征的动态变化的环境，并且需要快速采取相应的行动。为了弥补这一差距，我们提出了一种新的模拟具身基准，称为HAZARD，专门用于评估具身代理在动态情况下的决策能力。HAZARD由三种意外灾难场景组成，包括火灾、洪水和风，并特别支持利用大型语言模型（LLMs）来帮助常识推理和决策。
八千字干货：OpenAI 安全系统负责人亲自教你视频生成模型
AI科技大本营
04-18 590
作者 |Lilian Weng编译 |王启隆出品 | AI 科技大本营（ID：rgznai100）引自|Weng, Lilian. (Apr 2024). Diffusion Models Video Generation. Lil’Log.链接|https://lilianweng.github.io/posts/2024-04-12-diffusion-video/.近日，来自 O...
lumiere-node-tessel:将 Lumiere 与 Tessel 结合使用
06-05
带 Tessel 的 Lumiere 节点 将 Lumiere 与 Tessel 结合使用 泰塞尔代码 以下命令行命令旨在从此目录运行。 通过 USB 电缆将 Tessel 插入计算机。 安装 NodeJS（或者假设 io.js 也应该工作） 安装 Tessel： npm ...
lumiere-node-spark:使用 Spark 的 Lumiere 节点
07-06
带有 SparkCore 的 Lumiere 使用 Spark Core 的 Lumiere 节点。 目前，现有代码库仅支持； 使用这些灯时，请务必通读。 安装 设置 Spark 。 使用以下安装实用程序： npm install -g spark-cli 配置代码 用相关的...
【AIGC半月报】AIGC大模型启元：2024.09（上）
LeeZhao的博客
09-06 1006
【AIGC半月报】AIGC大模型启元：2024.09（上）
【AIGC数字人】EchoMimic:基于可编辑关键点条件的类人音频驱动肖像动画
qq_44091004的博客
09-08 860
EchoMimic:基于可编辑地标条件的类人音频驱动肖像动画
【AIGC】InstructPixPix:基于文本引导的图像编辑技术
qq_44091004的博客
09-09 1130
InstructPixPix:基于文本引导的图像编辑技术
OPENAIGC开发者大赛企业组AI黑马奖 | AIGC数智传媒解决方案
最新发布
RPA中国
09-12 282
目前公司主要业务包括三大产品（BextAI平台，AI智能体，AI工作流）和解决方案 目前市面上通用大模式无法全面支撑垂直领域的应用和拓展，我们采用大模型+小模型的解决方案，有效为客户降本增效，使客户做到模型驱动，业务智能，决策智能。希望通过这个解决方案，能够让AI技术更加深入地应用到企业化办公环境之中，对企业的信息处理、分析及优化、宣传方案等方面提供强大的技术保障，进一步提升办公效率并且赋能企业的业务延伸和拓展。针对文化交流与教育市场，提供智能生成和推荐系统，解决了多语言支持和内容生成效率低的问题。
AIGC在商业银行中的应用现状及债券业务落地领域分析
银行信息系统应用架构导论
09-10 269
此外，自研大模型所需的技术能力、试错成本及由此带来的时间成本也非常高，因此多数商业银行选择与外部厂商合作，借助第三方厂商的技术与大模型在预训练阶段的成果，利用商业银行金融数据进行精调，以实现AIGC的应用。从对AIGC的应用场景来看，几乎所有商业银行在布局或应用AIGC时均将其对话能力作为重点方向，智能客服是最主要的应用场景。因此，在业务经营管理数字化过程中，应注意传统AI与AIGC的配合使用，可以将智能客服等比较成熟的应用场景先试水，在部分场景实验结果的基础上尽快落地其他场景，以节约人力，降低人工成本。
AIGC浅记，什么是GAN模型,它有什么优点和缺点,以及在人脸生成领域有哪些应用
风信子的博客
09-09 1161
GAN模型，即生成对抗网络（Generative Adversarial Networks），是一种深度学习模型，通过生成器和判别器之间的对抗训练来学习生成数据的分布。GAN模型在图像生成、风格迁移、超分辨率等领域展现出强大的能力，并逐渐被应用于其他数据类型如音频和文本的生成。
第九届“创客中国”生成式人工智能（AIGC）中小企业创新创业大赛圆满落幕
luojiezong的博客
09-09 827
江西省工业和信息化厅党组成员、副厅长郭启东表示,“创客中国”始终秉持“围绕产业链,部署创新链,配置资金链,培育人才链”的宗旨,为中小企业和创客搭建了广阔平台。江西深刻认识到以人工智能为代表的产业变革的发展方向,努力推动人工智能等先进产业加速发展,以本次大赛为契机,优化创新生态,强化政策引导,加强人才培养,深化国际合作,加大对中小企业创新发展的支持力度,营造更加开放包容的创新环境,推动中小企业创新发展。南昌市委常委、市委秘书长、办公室主任赵捷;经过初赛、复赛的严格筛选,21个杰出项目脱颖而出,荣获赛事奖项。
【AIGC】探索超凡记忆：SuperMemory，你的私人智能书签助手！
后端研发工程师Marion的博客
09-10 315
SuperMemory 通过一个 Chrome 插件来导入推文、保存网站和内容。这个项目被设计成一个类似于 ChatGPT 的工具，但它专注于你的书签和个人知识库。实测收集的效果回答质量并不高，有些网站插件收集UI还有BUG。
【AIGC】对AI编程常用的工具提供简要介绍和应用场景
weixin_51306394的博客
09-08 1631
I编程工具的选择和使用对于构建高效的机器学习和深度学习系统至关重要。这些工具涵盖了从数据处理、模型训练、模型优化到模型部署的各个环节。下面是一个全面的AI编程工具合集，按功能分类列出了一些常用的工具，并提供了简要介绍和应用场景。
OpenAI的Sora模型：AI文生视频技术的里程碑
文生视频模型基于深度学习，融合NLP、CV和ASR技术，通过用户提供的文本、图像等提示生成视频。目前，各大公司如Midjourney、谷歌、字节跳动和腾讯都在加速研发此类模型，推动视频生成技术的进步。" Sora文生视频...
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沉迷单车的追风少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值