【SVD生成视频+可本地部署】ComfyUI使用（二）——使用Stable Video Diffusion生成视频 （2023.11开源）

已于 2024-01-26 09:30:38 修改
阅读量5.9k 收藏 43
点赞数 15
分类专栏： ComfyUI AIGC 生成式人工智能 文章标签： SVD stable video 视频生成 diffusion AIGC ComfyUI AI绘画
于 2024-01-25 19:34:11 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/imwaters/article/details/135840835
版权

SVD官方主页 ： Huggingface | | Stability.ai || 论文地址
huggingface在线运行demo : https://huggingface.co/spaces/multimodalart/stable-video-diffusion
SVD开源代码：Github（含其他项目） || Huggingface
在Comfyui使用： ComfyUI国内下载 | SVD模型下载 | | 官网下载(Github)

在这里插入图片描述

文章目录

最低0.47元/天 解锁文章
使用SVD(Stable Video Diffusion)执行视频插帧任务
沉迷单车的追风少年
10-02 1642
使用生成式模型完成视频插帧任务相比于传统的方法有很大的优势，可以完成大运动幅度和更好的流畅性插帧任务。这篇博客介绍如何用目前最流行的视频生成开源模型SVD完成视频插帧任务。
stable video diffusion(SVD):scaling latent video diffusion models to large datasets
liguandong
12-11 680
同样基于base模型，可以微调图生视频模型。使用network preconditioning将图像模型中的固定离散噪声调度微调为连续噪声，对大小为256x384的图像进行微调，在插入temporal layer后，使用256x384的LVD-F对模型进行训练，使用bs为768在100k迭代中微调模型以生成14个320x576的帧。有了基础数据集后，需要关注美学指标，比如视频中静止太多，文本太多，因此使用基于深度光流对视频进行评估，使用了2帧的帧率，把平均光流幅度低于一定阈值的视频都过滤掉了。
【ComfyUI进阶1】5分钟制作丝滑的AI视频-+AnimateDiff
weixin_66363548的博客
10-25 8533
用AnimateDiff Prompt Travel video-to-video搭配ComfyUI制作AI视频，效果丝滑。
太奶都能学会的comfyUI使用教程！
2401_84760719的博客
02-26 1512
了解过的盆友应该知道，这是comfyUI的页面，这玩意操作起来可比SD Web UI难咱这期就教大家怎么直接上手1、打开吐司（扫描下方二维码即可）2、点击在线生图按钮后的向下箭头，找到并点击工作流模式于是你就进入comfyUI的操作页面了，可以看到，吐司官方已经将基本的文生图工作流程配置好了（见下图），咱先熟悉一下各个模块3、序号4模块为跑图大模型选择，咱只需要点击一下图中红框框选的地方，就会跳出吐司官网的模型选择页面，选一个自己喜欢的就行了。
在ComfyUI上安装动画生成插件Stable Video Diffusion
BBM的博客
02-10 1808
上一章节我们介绍了Stable video diffusion的安装及初步使用，我们发现SVD的运行需要较大的显存，但是如果将SVD作为插件安装在ComfyUI上面，发现ComfyUI可以很好的管理显存，同时配合ComfyUI的动画制功能，可以让应用更加丰富。
Stable Diffusion 本地部署教程
热门推荐
ellija的博客
03-25 159万+
最近看Stable Diffusion开源了，据说比Disco Diffusion更快，于是从git上拉取了项目尝试本地部署了，记录分享一下过程~这里是官网介绍：https://stability.ai/blog/stable-diffusion-public-release。
【SVD生成视频+可本地部署】ComfyUI使用指南（二）——使用Stable Video Diffusion生成视频...
gitblog_06506的博客
09-20 433
【SVD生成视频+可本地部署】ComfyUI使用指南（二）——使用Stable Video Diffusion生成视频 SVD生成视频可本地部署ComfyUI使用二使用StableVideoDiffusion生成视频2023.11开源 ...
探索未来影像：ComfyUI中的Stable Video Diffusion项目解析与应用
gitblog_00084的博客
06-08 542
探索未来影像：ComfyUI中的Stable Video Diffusion项目解析与应用 去发现同类优质开源项目:https://gitcode.com/ 在数字创意的广阔领域中，视频生成技术正以前所未有的速度发展。今天，我们为您介绍一款开启创新大门的开源工具——ComfyUI Stable Video Diffusion。这是一款专为ComfyUI设计的插件，使得稳定视频扩散（Stable V...
云服务器ComfyUI+SVD制作AI视频教程，附效果演示
Eqiqi的博客
12-02 1040
ComfyUI是通过将stable diffusion的流程拆分成节点，实现了更加精准的工作流定制和完善的可复现性。但节点式的工作流也提高了一部分使用门槛。最后，我想说的是工具的使用是提效的手段，不论用什么工具，最后生成的效果满意就行。就像做视频，手机、单反、运动相机都能拍，能不能拍出精彩的视频还是需要创作者的内功哦~为了帮助大家更好地掌握ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了。
《Stable Video Diffusion》：SVD，2023年开源视频生成模型中的佼佼者！
my_name_is_learn的博客
01-20 1179
在这篇文章中，我将面向之前已经熟悉StableDiffusion(SD)的读者，简要解读SVD的论文。
【论文+视频控制】23.08.DragNUWA1.5：通过集成文本、图像和轨迹来进行视频生成中的细粒度控制 （24.01.08在stable video diffusion开源模型）
进一寸有一寸的欢喜
01-23 1320
中国科学技术大学+微软亚洲研究院 在 NUWA多模态模型、 Stable Video Diffusion 、UniMatch基础上提出的可控视频合成方法。提出了同时（simultaneously ）引入文本、图像和轨迹信息，从**语义（semantic）、空间（spatial）和时间角度（temporal perspectives）**
Stable Video Diffusion（SVD）搭建部署
培根芝士的专栏
01-14 1344
Stable Video Diffusion（SVD）是Stability AI于2023年11月21日发布的视频生成式大模型，是一种用于高分辨率、先进的文本到视频和图像到视频生成的潜在视频扩散模型。该模型不仅支持文本、图像生成视频，还支持多视角渲染和帧插入提升视频帧率，用户可以调整模型选择、视频尺寸、帧率及镜头移动距离等参数。
ComfyUI本地部署
码海逆行
04-07 1702
简单易学的ComfyUI 安装及简单操作
Stable Diffusion Windows本地部署超详细教程（手动+自动+整合包三种方式）
sheex2012的博客
04-26 5万+
本文以Stable Diffusion为例，由难及易演示了手动、自动和整合包三种部署方式，并分析了这三种方式在虚拟环境创建、程序部署、数据下载部署等复杂动作的具体过程，为一键式自动部署提供了良好的借鉴，进一步促进AIGC的普惠应用。
【AI绘画】ComfyUI 完全入门：图生视频
A2421417624的博客
09-19 3514
大家好，我是每天分享AI应用的彤姐！ComfyUI 是一个基于 Stable Diffusion 的AI绘画创作工具，最近发展势头特别迅猛，但是 ComfyUI 的上手门槛有点高，用户需要对 Stable Diffusion 以及各种数字技术的原理有一定的了解才行。这个系列将会介绍 ComfyUI 的一些基础概念和使用方法，让大家更快的掌握 ComfyUI 的使用技巧，创作出自己独特的艺术作品。本文继续分享 ComfyUI 的使用方法：图生视频，也就是根据图片生成视频，使用的模型是SVD。
AI绘图体验：Stable Diffusion本地化部署详细步骤
03-30 3492
本文详细介绍了近期火爆的AI绘图平台Stabl Diffusion 本地部署步骤，包括环境，部署步骤，常见模型下载方法。能够帮助人们顺利完成AI绘图的本地部署和体验。是不可多得的教程
2024年最新Stable Diffusion本地化部署详细攻略，手把手教程（建议收藏!!)_stable diffusion 本地部署
2401_84760527的博客
06-07 1988
如果你还有其它配置需求，特别是你的电脑配置比较低的话，可以勾选其中的参数进行配置1）、显存优化显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复）时，依然有爆显存的几率。xFormers 能极大地改善了内存消耗和速度，建议开启。2）、WebUI深色模式还有这里的WebUI界面设置，可以将界面设置为深色模式3）、版本管理。
先别吹sora，ComfyUI+SVD才是你2024年必须掌握的ai视频工具！
2401_84760719的博客
06-12 1553
为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。比如这里我们导入的是svd图生视频的工作流，点击【choose file to upload】，输入一张你想要转成视频的图片。当我们打开terminal界面后，只需要输入以下命令，然后按回车键，等待1分钟左右。揽睿星舟的很多模型都是自带的，所以很多不需要下载，直接用就可以。稍微等一会儿，等左上角变成【运行中】，这个时候我们点击下方的【这个时候我们回到之前的工作空间，点击【打开调试地址】。
2024年最新Stable Diffusion本地化部署详细攻略，手把手教程（建议收藏!!)
2401_85116933的博客
12-09 1963
如果你还有其它配置需求，特别是你的电脑配置比较低的话，可以勾选其中的参数进行配置1）、显存优化显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复）时，依然有爆显存的几率。xFormers能极大地改善了内存消耗和速度，建议开启。2）、WebUI深色模式还有这里的WebUI界面设置，可以将界面设置为深色模式3）、版本管理可以获取某个模型或插件早期的版本，随时都可以切换到新旧版本，因为有些插件对Stable。
我想本地化windows部署一个图成视频的大模型，显卡只有1650，推荐个开源的，并且教我怎么安装使用
最新发布
03-10
<think>好的，我需要帮用户找到适合在本地Windows环境使用1650显卡进行图像生成视频的开源大模型，并提供安装和使用教程。首先，用户的显卡是GTX 1650，显存可能只有4GB，这对运行大规模模型来说可能有些吃力。现在主流的图像转视频模型比如Stable Video Diffusion，或者Meta的Make-A-Video，但这些模型通常需要较高的显存，可能超过4GB。不过，可能有一些优化过的项目或者轻量级模型可以在低显存环境下运行。 接下来，我需要查找适合的开源项目。考虑到显存限制，可能有一些基于GAN的模型或者使用模型压缩技术的项目。例如，Tune-A-Video或者一些针对低显存优化的版本。另外，用户提到要图像转视频，所以可能需要的是text-to-video模型，但用户特别指出是图像生成视频，可能是指输入一张图像生成视频，或者根据图像内容生成相关视频。比如，AnimateDiff可能是一个选项，但需要检查其硬件要求。 然后，安装和使用教程方面，需要确保项目支持Windows，并且有明确的步骤。可能需要用到CUDA，但1650显卡支持CUDA 10或11，但需要安装对应的PyTorch版本。另外，可能还需要依赖库如FFmpeg来处理视频输出。 还要注意项目是否活跃，是否有社区支持，文档是否齐全。例如，Hugging Face的模型库可能有适合的模型，但需要筛选出能在低显存下运行的。另外，可能有一些项目通过模型量化、梯度检查点或者内存优化技术来减少显存占用。 可能需要推荐用户使用某些特定的仓库，比如Stable Video Diffusion的轻量级版本，或者使用Ollama这样的工具来简化部署，但Ollama主要支持LLM，可能不支持视频生成。不过用户之前提到的DeepSeek本地化部署可能不相关，但引用的资料提到部署流程，可能需要参考类似的方法。 综合来看，可能的候选项目包括： 1. Stable Video Diffusion的优化版本，可能通过Hugging Face的Diffusers库运行，并调整参数降低显存使用。 2. Text2Video-Zero，虽然主要是text-to-video，但可能可以结合图像输入。 3. AnimateDiff，但可能需要较高的显存，但通过--medvram参数可能可以运行。 4. 一些基于GAN的小型模型，如MoCoGAN。 接下来需要验证这些项目是否支持Windows，是否有教程，以及显存需求。比如，Stable Video Diffusion可能需要至少8GB显存，但通过调整batch size和分辨率，或者使用模型修剪，可能在4GB下勉强运行。或者使用xformers库来优化内存。 安装步骤可能包括安装Python、PyTorch、相关依赖，克隆仓库，下载预训练模型，然后运行示例脚本。需要注意PyTorch版本与CUDA的兼容性，例如，1650支持CUDA 10.2，但PyTorch的最新版本可能需要CUDA 11.8，这可能需要用户安装较新的驱动，或者使用兼容的版本。 另外，可能推荐用户使用云服务如果本地显存不足，但用户明确要求本地部署，所以需要找到可行的方案。可能需要建议用户使用较低的分辨率，或者分帧处理，逐帧生成然后合成视频。 最后，需要确保提供的教程步骤详细，适合Windows环境，并包含常见问题的解决方法，比如显存不足时的调整方法，依赖安装问题等。</think>### 适合GTX 1650显卡的Windows本地化图像转视频大模型部署方案 #### 1. 推荐项目：**Stable Video Diffusion（优化版）** 虽然原版模型需要8GB以上显存，但通过以下优化可在4GB显存下运行： - 使用`diffusers`库的动态分辨率调整 - 启用`xformers`加速库 - 采用梯度检查点技术 **部署流程**： ```powershell # 创建Python虚拟环境 python -m venv svd-env svd-env\Scripts\activate # 安装依赖 pip install torch==2.0.1+cu117 torchvision==0.15.2+cu117 --index-url https://download.pytorch.org/whl/cu117 pip install diffusers accelerate xformers ``` **示例代码**： ```python from diffusers import StableVideoDiffusionPipeline import torch pipe = StableVideoDiffusionPipeline.from_pretrained( "stabilityai/stable-video-diffusion-img2vid", torch_dtype=torch.float16, use_safetensors=True ).to("cuda") # 生成视频（分辨率调整为512x512） image = load_input_image("input.jpg") # 自定义图像加载函数 frames = pipe(image, height=512, width=512, num_frames=24).frames[0] frames[0].save("output.gif") ``` #### 2. 轻量级方案：**Text2Video-Zero** 支持通过图像语义生成短视频片段，显存需求约3.8GB[^1] **安装步骤**： ```powershell git clone https://github.com/PAIR/Text2Video-Zero cd Text2Video-Zero pip install -r requirements.txt ``` **使用示例**： ```python from PIL import Image from pipeline import TextToVideoZeroPipeline model = TextToVideoZeroPipeline.from_pretrained("runwayml/stable-diffusion-v1-5") input_image = Image.open("input.jpg") # 生成2秒视频（24帧） video_frames = model( prompt="a cat dancing", init_image=input_image, video_length=24 ).frames ``` #### 性能优化技巧 1. 在代码中添加`torch.backends.cudnn.benchmark = True`启用CUDA加速 2. 使用`--medvram`参数启动脚本（如有提供） 3. 将模型精度转为`float16`： ```python model.half().to("cuda") ``` 4. 设置视频生成参数： ```python pipe.enable_attention_slicing() # 内存优化 pipe.enable_vae_slicing() # 显存分段处理 ``` ###
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曾小蛙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值