视频扩散模型介绍 Video Diffusion Models Introduction

已于 2024-03-06 15:44:39 修改
阅读量1.5k 收藏 30
点赞数 26
分类专栏： paper 论文笔记 文章标签： python
于 2024-03-05 15:21:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51371693/article/details/136478507
版权
本文介绍了视频扩散模型中的关键概念，如DDPM、DDIM、CLIP等，以及LatentDiffusion和LoRA等高效生成方法。文章还涵盖了开源模型、评估标准、前人工作和长视频生成等内容，展示了从图片生成到视频生成的技术路径和控制编辑的解决方案。
摘要由CSDN通过智能技术生成

视频扩散模型介绍 Video Diffusion Models Introduction

Diffusion 扩散模型中的一些概念

DDPM

扩散过程和去噪过程
在这里插入图片描述

在这里插入图片描述

去噪器，预测出来噪声然后与原始图片相减，得到干净的图片

在这里插入图片描述
当然，去噪过程是逐步的，所以减去之后会重新加上“平均噪声”
在这里插入图片描述

DDIM

跳步
在这里插入图片描述
DDIM和DDPM作对比：
在这里插入图片描述

在这里插入图片描述

CLIP

在这里插入图片描述

Latent Diffusion

不是直接在像素空间进行操作，多了编码解码，在latent空间操作加噪和去噪过程
在这里插入图片描述

Stable Diifusion

在这里插入图片描述

LoRA

微调
在这里插入图片描述

DreamBooth

在这里插入图片描述

ControlNet

在这里插入图片描述

在这里插入图片描述

视频生成

一些已有的工作分类
在这里插入图片描述
3D可以分成（2+1），就是从图片生成到视频生成的一种思路
在这里插入图片描述

早期工作：
在这里插入图片描述
解码器+插帧+超分辨率模块
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评估标准

在这里插入图片描述

图片层面

语义相似度
在这里插入图片描述

像素相似度
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

视频层面

视频生成的质量和多样性
在这里插入图片描述

一致性
在这里插入图片描述
在这里插入图片描述

组合评估
在这里插入图片描述

前人的工作

Make-A-Video

在这里插入图片描述
在这里插入图片描述

Align your Latents

在这里插入图片描述

开源视频生成模型

ModelScopeT2V（阿里）

在这里插入图片描述
在这里插入图片描述

可变temporal attention
在这里插入图片描述

下面是模型效果，ZeroScope是从ModelScope 用10K的小数据集fine-tune出来的
在这里插入图片描述

Show-1

在这里插入图片描述

VideoCrafter（tx）

在这里插入图片描述

LaVie

在这里插入图片描述

Stable Video Diffusion

数据处理
在这里插入图片描述
在这里插入图片描述
训练过程：
先初始化参数
在这里插入图片描述
训练过程
在这里插入图片描述

fine-tune阶段
在这里插入图片描述

高效的生成方法

AnimateDiff

把文生图片模型转化为文生视频模型而不需要单独train

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Text2Video-Zero 无需训练

动机：如何在不用fine-tune的情况下使用Stable Diffusion

做法：给定第一帧noise后，人为定义全局scene motion

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他

在这里插入图片描述

Storyboard

前面生成的视频都是几秒钟长度的视频，如果时间要增长，有哪些工作做了

文本->电影脚本->视频

VisorGPT

在这里插入图片描述
在这里插入图片描述

VideoDirectorGPT

在这里插入图片描述

Long-form Video Prior

在这里插入图片描述

其他工作

在这里插入图片描述

长视频生成

NUWA-XL

在这里插入图片描述
在这里插入图片描述

Video Editing

在这里插入图片描述

Tuning-based

Tune-A-Video

在这里插入图片描述
在这里插入图片描述

Sparse-Casual的attention方式节约内存空间，只跟第一帧和前一帧做attention
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Dreamix

在这里插入图片描述

在这里插入图片描述

Training-Free

TokenFlow

在这里插入图片描述

FateZero

在这里插入图片描述

其他工作

在这里插入图片描述

Controlled Editing

Gen-1

在这里插入图片描述

Pix2Video

Control场景里也有不需要训练的方法
在这里插入图片描述

ControlVideo

另外一种不需要训练的方法
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

VideoControlNet

CCEdit

在这里插入图片描述

VideoComposer

在这里插入图片描述

其他工作

在这里插入图片描述

Pose Control姿态控制

MagicAnimate

在这里插入图片描述

PointControl

比如图中想把猫换成狗但是背景保留

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

只在关键帧标注
在这里插入图片描述
在这里插入图片描述

3D-Aware

KiraFenvy
关注
  • 26
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Video Diffusion Models：基于扩散模型的视频生成
沉迷单车的追风少年
05-17 5110
Diffusion Models专栏文章汇总：入门与实战 前言：扩散模型已经被广泛运用到图像生成、image-to-image转换、时间序列生成、3D点云生成、文本生成、音频生成等领域，谷歌研究院最新的研究成果成功将diffusion models运用到视频生成领域。 目录 模型结构 分解时空体系联合训练 梯度条件法 恐怖的实验结果 论文和代码 个人启发 个人疑问？ 模型结构 在前面的博文中，我详细介绍了为什么绝大部分的diffusion models都使用Unet结构.
【论文阅读】A Survey on Video Diffusion Models
weixin_57974242的博客
11-16 1691
对AIGC时代视频扩散模型的全面回顾。介绍了扩散模型的基本原理和演变过程，视频生成、视频编辑和其他视频理解任务。
VideoDiffusionModels
weixin_43845922的博客
08-16 395
例如：我们有一个视频序列，每一帧都是一个4x4的图像，我们把每个像素当作一个patch，那我们就有16个patch,如果用joint space-time attention(ST)策略，那我们就需要计算每一帧的16个patch与其他所有帧的16个patch之间的注意力权重，这样就会产生很多冗余的计算，但是如果我们用固定注意力矩阵的策略，那我们就只需要计算每一帧的16个patch与自己的16个patch之间的注意力权重，这样就可以大大减少计算量和内存消耗。也就是进行帧与帧之间的attention计算。
#今日论文推荐#视频也可以用扩散模型来生成了，效果很能打
w1hsxn的博客
04-22 315
#今日论文推荐#视频也可以用扩散模型来生成了，效果很能打！ 扩散模型最近是真的有点火。 前有OpenAI用它打败霸榜多年的GAN，现在谷歌又紧随其后，提出了一个视频扩散模型。 和图像生成一样，初次尝试，它居然就表现出了不俗的性能。 论文题目：Video Diffusion Models 链接：https://www.aminer.cn/pub/624fa8db5aee126c0f3a5be7?f=cs 详细解读：https://www.aminer.cn/research_report/626216f7
一文详解视频扩散模型的最新进展
AIGCer的博客
11-26 2144
人工智能生成内容（AIGC）目前是计算机视觉和人工智能领域最重要的研究方向之一。它不仅引起了广泛关注和学术研究，还在各行业和其他应用中产生了深远的影响，如计算机图形学、艺术与设计、医学成像等。在这些努力中，以扩散模型为代表的一系列方法已经取得了显著的成功，迅速取代了基于生成对抗网络（GANs）和自回归Transformer的方法，成为图像生成的主导方法。由于它们强大的可控性、逼真的生成和出色的多样性，基于扩散的方法还在广泛的计算机视觉任务中蓬勃发展，包括图像编辑、密集预测和诸如视频合成和3D生成等各种领域。
谷歌新作Dreamix：视频扩散模型是通用视频编辑器，效果惊艳！
阿木寺的博客
02-07 1671
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：机器之心 | 编辑：杜伟、陈萍AIGC 已经火了很长时间了，出现了文本生成图像、文本生成视频、图像生成视频等广泛的应用场景，如今谷歌研究院的一项新研究可以让我们根据输入视频生成其他视频了！我们知道，生成模型和多模态视觉语言模型的进展已经为具备前所未有生成真实性和多样性的大型文本到图像模型...
2022历史最全（视频）扩散模型论文、数据集、博客等整理分享
lqfarmer的博客
11-05 640
Diffusion Model(扩散模型)是生成模型的一种，作为近两年CV领域一种比较火的模型。它是一种基于扩散的生成模型被提出，其下有类似的想法，包括扩散概率模型（diffusion probabilistic modelsSohl-Dickstein et al., 2015），噪声条件得分网络（NCSNYang & Ermon, 2019），以及去噪扩散概率模型（DDPMHo et al. 2020）。其实这些本质上都说明扩散模型在生成任务上的效果可以逐步比肩GANs。
扩散模型diffusion model用于图像恢复完整可运行代码，附详细实验操作流程
02-10
1. 基于扩散模型实现的图像恢复代码，只需要修改数据集路径就可以在去雨、去雾、去雪等多个图像恢复任务上直接使用； 2. 附有详细的实验操作流程，以及参数路径等修改方法； 3. 代码训练和测试完整可运行； 4. 对于...
Diffusion Models: 生成扩散模型数学推导
07-24
扩散模型是一种基于概率的生成模型，它源于2020年提出的Denoising Diffusion Probabilistic Models (DDPM)框架。这种模型通过一系列逐步的噪声添加过程，即“扩散过程”，来模拟数据的生成，然后通过反向的噪声去除...
扩散模型(diffusion model) （DDPM）处理表格数据的项目案例
05-22
扩散模型（Diffusion Model，简称DDPM）是一种新兴的生成模型，主要在图像生成领域取得了显著成果。然而，它的应用并不仅限于此，处理表格数据也是其潜在的应用方向。本项目案例将展示如何利用扩散模型对表格数据...
扩散模型详细介绍1.zip
04-15
近年来，扩散模型的概念也被引入到深度学习中，如生成对抗网络（GANs）和扩散生成模型（Diffusion Generative Models）。这些模型通过模拟信息的扩散过程，生成高逼真度的图像、音频甚至视频内容。 总的来说，扩散...
扩散模型面试题目及其答案.docx
04-03
非线性扩散模型，如各向异性扩散（Anisotropic Diffusion），则更加复杂。它能够在平滑图像的同时保持或甚至增强图像边缘，通过控制扩散过程的方向和速度来避免过度模糊。这种模型通常依赖于图像的梯度信息来指导...
Dreamix: Video Diffusion Models are General Video Editors
Lcx559的博客
06-26 324
扩散模型已经广泛的应用于图像编辑，但是却很少用于视频编辑，提出了一种基于扩散模型的方法，能够对普通视频进行基于文本的运动和外观编辑。同时介绍了一种新的图像动画框架，通过将图像转为视频，然后使用视频编辑器进行动画处理。
视频扩散Video Diffusion原理与代码实例讲解
禅与计算机程序设计艺术
07-01 575
视频扩散Video Diffusion原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：视频扩散，扩散模型，时间序列预测，无监督学习，数据增强 1. 背景介绍
视频应用中的条件扩散模型，特效来得太快！
idol24的博客
03-20 597
本文来源 机器之心 编辑：蛋酱从文本生成图像，再到给视频加特效，下一个 AIGC 爆发点要出现了吗？相信很多人已经领会过生成式 AI 技术的魅力，特别是在经历了 2022 年的 AIGC 爆发之后。以 Stable Diffusion 为代表的文本到图像生成技术一度风靡全球，无数用户涌入，借助 AI 之笔表达自己的艺术想象……相比于图像编辑，视频编辑是一个更具有挑战性的议题，它需要合成新的动...
Diffusion Models专栏文章汇总：入门与实战
热门推荐
沉迷单车的追风少年
02-21 3万+
《Diffusion Models与深度学习》专栏文章导航
Stable Video Diffusion（SVD）参数使用教程
计算机视觉领域
11-30 3300
Stable Video Diffusion（SVD）参数使用教程
Stable Video Diffusion: Scaling Latent Video Diffusion Models to Large Datasets
c_cpp_csharp的专栏
11-23 194
我们提出了稳定视频扩散——一种用于高分辨率、最先进的文本到视频和图像到视频生成的潜在视频扩散模型。最近，通过在小的、高质量的视频数据集上插入时间层并对其进行微调，为2D图像合成训练的潜在扩散模型已经转变为生成视频模型。然而，文献中的训练方法差异很大，该领域尚未就管理视频数据的统一策略达成一致。在本文中，我们确定并评估了成功训练视频LDM的三个不同阶段：文本到图像预训练、视频预训练和高质量视频微调。
cv2读取和保存图片
最新发布
m0_53291740的博客
07-12 276
cv2.imwrite('b\\img1.png',img)#b存在就可以保存进去。如果b存在，c不存在，程序不会报错，也不会保存图片。如果目录b不存在就会存到当前文件夹。
Diffusion Models库介绍
06-10
Diffusion Models 是一个开源的 Python 库，用于实现扩散模型 (Diffusion Models)。扩散模型是一种用于建模分布式系统中信息扩散的数学模型，可以用于研究社交网络中的信息传播、病毒传播、新闻传播等问题。 Diffusion Models 提供了多种扩散模型的实现，包括： - 独立级联模型 (Independent Cascade Model) - 线性阈值模型 (Linear Threshold Model) - 非线性阈值模型 (Non-linear Threshold Model) - 距离阈值模型 (Distance Threshold Model) - 热度模型 (Heat Model) 此外，Diffusion Models 还提供了一些用于可视化扩散模型结果的工具，如模型仿真、节点影响力分析等。 Diffusion Models 的使用方法简单易懂，适合初学者和专业人士使用。如果您在社交网络、病毒传播、新闻传播等领域工作，并对扩散模型感兴趣，那么 Diffusion Models 是一个值得尝试的工具库。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值