前 言
字节前脚刚发布了文生图大模型 SDXL-Lightning,后脚就又对文生视频领域下手了。
就在这几天又推出了文生视频模型:AnimateDiff-Lightning,还是一个字,快。
当前只是快是没用的,还得看最终的视频效果。
那我们就来试试吧!
好了,话不多说,我们直接开整。
—
我们先来简单介绍一下 AnimateDiff-Lightning,它是从 AnimateDiff SD1.5 v2 中提炼出来的,也是总共有四个模型,和文生图一样,也是分为 1 步、2 步、4 步以及 8 步模型。
一步模型我们直接忽略就好了,主要是测试研究用的,除了快,效果就一般般了,听雨的配置使用一步模型生成 512*512 的 1 秒视频只需要 9s。
从两步模型开始生成的视频质量水平就已经到正常的水准了。越往后,质量越好。
使用 8 步的模型生成一秒的视频也只需要 15s。
好了,介绍就到这里,我们来 ComfyUI 中体验一下。
工作流使用到了两个插件:ComfyUI-AnimateDiff-Evolved 和 ComfyUI-VideoHelperSuite
(如插件无法下载,请看文末获取本地插件安装包)
直接在 ComfyUI 管理器 中搜索安装即可;或者直接导入工作流,在 管理器 中安装缺失节点也是可以的。
这里安装好插件以后,记得要把文末网盘中的模型放入指定目录下:
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\models
好了,直接上工作流。
正常文生图的节点这里就不讲了,我们讲下和 AnimateDiff 相关的几个节点:
这个节点,主要是用来选择 AnimateDiff 的模型,这里就是选择 AnimateDiff-Lightning 1 步到 8 步模型的地方。
调度器这个主要是决定了在图像生成流程中如何操纵潜在空间来迭代和细化图像的算法,这里我们选择 sqrt_linear (AnimateDiff) 就可以了。
这里的步数需要和上一个节点选择的模型一致,选择的是 2 步模型,这里的步数就选 2。
CFG 默认 1.0 即可,采样器和调度器也选择默认的 euler 和 sgm_uniform。
以下的两个节点也是联合使用的,批次大小代表总共生成多少张图片。
帧率代表每秒的视频包含多少张图片,以下就代表 1 秒的视频里包含了 16 张图片,包含的图片越多,人物的动作幅度越大,相对也就不太稳定。
批次大小 16,帧率 16,代表生成 1 秒的视频;如果想要生成 2 秒的视频,那就把批次大小改成 32,以此类推。
循环次数就是同一段视频循环几次。
格式就是输出的视频格式了,有很多格式可选,包括 gif、mp4、webp等等。
也可以结合 AnimateDiff 的运动 Lora 模型,只需要在节点 AnimateDif加载器Gen1 的参数 动态LoRA 链接一个 动态LoRA加载器 就可以了。
这里的 LoRA 模型分别代表了向左向右,逆时针顺时针,向下向上,拉近拉运,还可以通过强度来控制运动幅度。工作流以及 LoRA 模型也会放在文末的网盘里。
LoRA 模型也需要放在指定的目录下:
\ComfyUI\custom_nodes\ComfyUI-AnimateDiff-Evolved\motion_lora
顺便把测试的几个视频也发一下:
效果还是不错滴,稳定也还行,主要是真的快。
官方推荐了几个真实风格以及动漫风格和 AnimateDiff-Lightning 兼容性比较好的模型,感兴趣的小伙伴请看下方扫描获取哦
写在最后
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
![](https://i-blog.csdnimg.cn/blog_migrate/155fad81fab4180c0e84a78bab246f47.png)