从文字到视频的一条龙服务(Stable Diffusion进阶篇:SVD 2)

前半段看着好像还可以,但是后面部分的面部就开始崩坏了。

之所以会这样是因为在生成时使用的是默认参数,没有针对图片来进行参数的调整。图片是动起来了,但是太奇怪了。

而今天这篇笔记则是要简单了解一下一些进阶参数以及一些文生图生视频的内容,不然的话我担心内容太少字数都凑不够。

进阶参数

像上篇文章直接关掉界面的话,ComfyUI会自动保存上次的工作流

如果是重新打开没有的话,可以直接进入ComfyUI后将图生视频工作流直接拖动进去就好了(工作流文末下载链接)

而在整个页面最需要关注的参数部分就在这里:

而参数部分有三个地方需要重点关注:

**Motion Bucket ID
**

这个运动桶ID是SVD模型里最直观地控制视频运动幅度的参数,默认是127,数值范围从1-255,数值越大其运动幅度就越剧烈。

**运动桶ID:32
**

运动桶ID:255

这样进行对比还是可以看出来差距蛮明显的,如果觉得画面运动太过剧烈就降低这个数值,如果画面没什么变动就拉高这个数值。

**Min CFG & KSampler CFG
**

CFG全称是无分类器指导(Classifier Free Guidance)和图像绘制中的一样,这个CFG控制绘制内容与条件的相关性:

这里会看到有两个数值,是因为SVD采用了随帧数“动态”控制CFG的思路。

在绘制第一帧内容的时候应用最小值,然后逐渐增大,到最后一帧时变成KSampler里的CFG(最终):

这样的变化可以帮助系统适应不断变化的画面,而官方解释其作用是可以帮助视频保持原始图像的“忠诚度”。这个数值变低了的话画面会更加“自由发挥”,数值高了画面会更加稳定,CFG的正常区间在1.5-3之间。

而根据原教程up测试可以得出其数值不会影响大的运动构成,但是会影响运动推导的“细节”,就是可能让画面变“糊”,这里适当增加Min CFG或最终CFG即可。

**Augmentation Level
**

这个增强水平直接理解就是添加到图片中的噪声量,这个数值越高,视频与初始帧的差异就越大,增加这个数值也可以增加画面的运动。

但是这个参数对数值很敏感,一般不超过1。多数时候保持默认参数,但是当在使用与默认尺寸(1024*768)不同的视频尺寸时,最好把这个数值增加0.2-0.3,否则画面会有很大概率是错乱的。

这样改一些参数之后所生成的画面就稳定多了

文生图生视频

在完成了简单的图生视频之后就可以进行我们学习Stable Diffusion时最开始接触的文生图。

在经历了这么多篇文章之后其实很多小伙伴对文生图的步骤已经非常熟悉了,即便是第一次接触Stable Diffusion的小伙伴看到这篇文章也可以跟随我下面的操作进行文生图生视频。

在之前的WebUI中都是先进行文生图,然后丢到诸如EbSynth等视频生成扩展中将图片加载为视频。

但是ComfyUI中可以有一套完整的从文生图再到图生视频的工作流程:

这个工作流的下载链接我会放在文末,直接拖拽进ComfyUI即可。

如果在拖拽进去出现了丢失提示或者最右边的方块是红色的话,请参考上篇文章末尾的问题汇总,或者我直接复制粘贴到这篇文章末尾。

不花钱还是香的(Stable Diffusion进阶篇:SVD)

整个流程其实还是很简单的,就是在我们刚刚图生视频前面多了一个文生图的节点组合,接下来就一个方块一个方块进行操作。

模型加载

在最左边有一个Load Checkpoint的节点,这里是加载要使用的绘图大模型,无论是SD1.5还是SDXL的都可以。

提示词

接下来来到文本编码器部分,在上方的文本框中输入自己想要的提示词,当然也可以参考原视频up主提供的:

A hyper-realistic portrait of a 20 yo girl standing in a whest filed with her back to the camera, cloudy sky, sunrise, depth of field, and blurred background

生成

接下来在右侧的绿色部分进行简单的参数调整(也可以先默认)后直接点击添加提示词队列Queue Prompt

这样就是一个简单明了从左到右的文生图生视频流程。

SVD就是这么简单好用,AI视频模型的训练就是投喂大量的视频让AI学习视频在不同的时间节点上的静态帧差异,久而久之视频的“动态/运动规律”在AI眼里变得有迹可循。

这样一来给AI输入一个图片,AI就可以去“预测”接下来一段时间内AI会发生的画面运动。所以一个视频最终呈现出来的是什么样的,很大程度上取决于最开始的图片。

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

图片

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!

在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。

在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

在这里插入图片描述

这份完整版的AIGC全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值