前 言
虽然最近 Mochi 很火,效果也很不错,但是 CogVideoX 开源社区也是不甘示弱,一直在更新迭代,也更新了好多玩法。
尤其是在图生视频方面,这个也恰恰是 Mochi 还不支持的。
今天我们要介绍的这个功能需要借助 Lora,没错,CogVideoX 是支持 Lora 的。
主要功能就是上传一张图片,然后借助 Lora 来生成一个 3D 轨道环绕的效果。
可能描述的不太清楚,具体如何,我们直接来看效果吧!
好了,话不多说,直接开整。
还是先来看效果,具体如何操作放在文末了。
先来个最简单的,上传一张沙发的照片,然后生成沙发的动态视频,这里设置的是每秒 8 帧,所以有点慢动作的意思,小伙伴们想要画面快点的话,调大帧率就好了。
一致性保持的还是很好的吧,2D 一下子就变成动态 3D 了。
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
再来看一个旋转的星系,仔细看还可以看到远处的星星一闪一闪的呢。
外星球上的外星机器人,这个一致性保持的也是相当不错滴。
回归我们的地球,日落时分,海边的灯塔,看着就很宁静祥和有么有!
再找个度假住宿的地方,这环境也很美啊!
夜晚顺便再带大家去看个极光吧。
回归都市,在自己家中俯瞰这高楼林立的繁华都市。
晚上再约几个朋友一起出来飚个车。
哈哈,做梦到此结束。
CogVideoX 不同的画风都可以支持,就是海浪有点定格了,不过这些听雨都只跑了一次哈,提示词也很简单,还是有优化的空间的。
蒸汽朋克的飞船好酷,有没有一张大片的既视感。
人物肯定也是必须要来的,这一致性也是相当不错吧。
我们以心灵之眼来作为结束吧,眼睛中的场景也是在变动的哦!
篇幅关系哈,就先展示这么多,接下来我们来看看具体怎么操作可以生成上边的效果嘞。
首先我们需要安装插件:ComfyUI-CogVideoXWrapper,已经安装的小伙伴记得更新到最新版。
还未安装的小伙伴需要手动进行安装,ComfyUI 管理器暂时还不支持。
插件地址扫下图:

安装好以后需要把 Lora 模型放在指定的目录下,模型以及工作流听雨都会放在文末的网盘里。
下边就是完整的工作流了,其实就是多了一个加载 Lora 的节点,其它的没啥变化。
生成 49 帧,6 秒视频,步数 50 步的话,4090 大概四分多钟的样子,相比较 Mochi 还是很快的。
有几个地方稍微讲一下,Lora 加载器这里 fuse_lora 要设为 true,要不然不能正常生成视频。
以下这个节点中的模型只能选择 CogVideoX-5b-I2V,然后显存不够的小伙伴把 fp8_transformer 设置为 enabled,这样只需要 13G 的显存就可以运行这个工作流了。
还有这个的解码节点 enable_vae_tiling 也需要设置成 true,要不然也会占用很大的显存。
其它的参数不懂的小伙伴直接默认就可以了,当然正面提示词还是需要改一下的。
写在最后
常用工作流已经给各位小伙伴打包好了,可以按需自取,无偿分享。
这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

若有侵权,请联系删除