[ComfyUI]CogVideoX图生视频新功能|高级运镜|3D轨道环绕|商用级效果

‍‍‍‍‍前 言

虽然最近 Mochi 很火,效果也很不错,但是 CogVideoX 开源社区也是不甘示弱,一直在更新迭代,也更新了好多玩法。

尤其是在图生视频方面,这个也恰恰是 Mochi 还不支持的。

今天我们要介绍的这个功能需要借助 Lora,没错,CogVideoX 是支持 Lora 的。

主要功能就是上传一张图片,然后借助 Lora 来生成一个 3D 轨道环绕的效果。

可能描述的不太清楚,具体如何,我们直接来看效果吧!

好了,话不多说,直接开整。

还是先来看效果,具体如何操作放在文末了。

先来个最简单的,上传一张沙发的照片,然后生成沙发的动态视频,这里设置的是每秒 8 帧,所以有点慢动作的意思,小伙伴们想要画面快点的话,调大帧率就好了。

一致性保持的还是很好的吧,2D 一下子就变成动态 3D 了。

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。


再来看一个旋转的星系,仔细看还可以看到远处的星星一闪一闪的呢。

外星球上的外星机器人,这个一致性保持的也是相当不错滴。

回归我们的地球,日落时分,海边的灯塔,看着就很宁静祥和有么有!

再找个度假住宿的地方,这环境也很美啊!

夜晚顺便再带大家去看个极光吧。

回归都市,在自己家中俯瞰这高楼林立的繁华都市。

晚上再约几个朋友一起出来飚个车。

哈哈,做梦到此结束。

CogVideoX 不同的画风都可以支持,就是海浪有点定格了,不过这些听雨都只跑了一次哈,提示词也很简单,还是有优化的空间的。

蒸汽朋克的飞船好酷,有没有一张大片的既视感。

人物肯定也是必须要来的,这一致性也是相当不错吧。

我们以心灵之眼来作为结束吧,眼睛中的场景也是在变动的哦!

篇幅关系哈,就先展示这么多,接下来我们来看看具体怎么操作可以生成上边的效果嘞。

首先我们需要安装插件:ComfyUI-CogVideoXWrapper,已经安装的小伙伴记得更新到最新版。

还未安装的小伙伴需要手动进行安装,ComfyUI 管理器暂时还不支持。

插件地址扫下图:

安装好以后需要把 Lora 模型放在指定的目录下,模型以及工作流听雨都会放在文末的网盘里。

下边就是完整的工作流了,其实就是多了一个加载 Lora 的节点,其它的没啥变化。

生成 49 帧,6 秒视频,步数 50 步的话,4090 大概四分多钟的样子,相比较 Mochi 还是很快的。

有几个地方稍微讲一下,Lora 加载器这里 fuse_lora 要设为 true,要不然不能正常生成视频。

以下这个节点中的模型只能选择 CogVideoX-5b-I2V,然后显存不够的小伙伴把 fp8_transformer 设置为 enabled,这样只需要 13G 的显存就可以运行这个工作流了。

还有这个的解码节点 enable_vae_tiling 也需要设置成 true,要不然也会占用很大的显存。

其它的参数不懂的小伙伴直接默认就可以了,当然正面提示词还是需要改一下的。

写在最后

常用工作流已经给各位小伙伴打包好了,可以按需自取,无偿分享。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

在这里插入图片描述

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

### 使用 ComfyUI 像和视频 #### 安装与配置 ComfyUI 是一个基于 Stable Diffusion 的形用户界面和后端系统,旨在简化 AI 成的工作流程[^1]。为了开始使用 ComfyUI 进行像或视频成,首先需要完成安装过程。 #### 基础操作 对于初学者来说,理解 ComfyUI 的基本概念非常重要。该平台提供了详细的教程系列,涵盖了从基础到高级的各种主题,包括但不限于选择理由、优缺点分析、下载安装指导、模型与插件管理等内容[^2]。 #### 创建像工作流 要利用 ComfyUI 成静态片,可以按照以下方式构建工作流: 1. **启动应用程序**:打开已安装好的 ComfyUI 应用程序。 2. **加载预训练模型**:通过界面上的相关选项导入所需的预训练模型文件。 3. **设置参数**:调整诸如分辨率、样式偏好等参数以满足个人需求。 4. **执行成任务**:点击运行按钮让软件根据设定条件自动成新的艺术作品。 ```python from comfyui import generate_image image = generate_image( model_path="path/to/model", resolution=(512, 512), style_preference="anime" ) ``` #### 处理视频素材 当涉及到处理动态影像时,比如将真人影片转换为动漫风格,可以通过特定的功能模块实现这一目标。这通常涉及以下几个方面的工作: - 导入源视频片段作为输入数据; - 利用内置算法逐帧应用所需效果; - 输出最终渲染后的动画版本。 具体步骤可以在专门针对此类应用场景的教学资料中找到更详尽的操作指南。 #### 高级特性探索 除了上述常规用途外,ComfyUI 还支持更多复杂场景下的创作活动,例如像重绘(Image Redrawing)、跨域迁移学习等。这些功能允许创作者突破传统边界,在不同媒介间自由穿梭创造独一无二的作品[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值