ComfyUI DynamiCrafter教程|颠覆AI视频生成!分分钟实现图转视频,细节也能完美调整...

874bd15112a87cba36363a5950e5f5c1.png

本文约1200字,建议阅读5分钟
港中文、腾讯联合强推,真的好用!

c3c21ddb12c2a314f8228de5ef2247be.png

北大、腾讯 AI Lab 联合推出 AI 视频生成工具 DynamiCrafter:只需输入一张普通的静态图,加上几句文字引导,瞬间就能生成超级逼真的动态视频!基于 ComfyUI 的 DynamiCrafter 可以让用户通过改变节点随心所欲地实现不同功能,赋予用户更高的自由度和创作空间。

近日,由香港中文大学、腾讯 AI Lab 等联合推出的 AI 视频生成工具 DynamiCrafter 一经上线便引起了巨大反响。只需要输入一张普普通通的静态图,加上几句简单的文字引导,瞬间就能生成超逼真的动态视频!

bdcd68747990842503989a88657ea590.jpeg

12015fd09627489245efc9a6be4abe88.gif

静态图+fireworks display=过程动态图

上篇教程小编已经带大家体验了一把 DynamiCrafter 的 WebUI 版使用方法,该方法简单易用,小白也能分分钟上手,但想要更细致地调整局部细节,WebUI 就有点局限了。

相较而言,ComfyUI 基于节点式的界面和工作流,用户可以通过改变节点随心所欲地实现不同功能,能够更精细化地控制整个流程,赋予用户更高的自由度和创作空间,实现个性化定制!

但 ComfyUI DynamiCrafter 的使用门槛较高,配置过程也很复杂,用户在使用过程中还容易出现节点连接错误、内存不足、算力限制等一系列难题。

为了解决上述问题,HyperAI超神经上线了「ComfyUI DynamiCrafter 图生视频工作流」教程。该教程帮助大家提前下载模型,为用户搭建好了工作流,一键即可使用,再也不用担心节点连接错误!

教程地址:

https://hyper.ai/tutorials/32243

为了让大家更快上手,B 站 up 主「独立研究员-星空」录制了生动有趣的教学视频。

Demo 运行

1. 登录 hyper.ai,在「教程」页面,选择「ComfyUI DynamiCrafter 图生视频工作流」,点击「在线运行此教程」。

498e9da3a506c91f6866f4c831b690e2.png

a9122003948d1bdede6544b32877f62e.png

2. 页面跳转后,点击右上角「克隆」,将该教程克隆至自己的容器中。

28746568ecd6e79c5e7f349ca610b557.png

3. 点击右下角「下一步:选择算力」。

c898e77eb9998fdfd96f8114fc675db0.png

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长!

HyperAI超神经专属邀请链接(直接复制到浏览器打开):

https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

f53958ce3159438f018f4bde87ace861.png

5. 点击「继续执行」,等待分配资源,首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

e343d84eb633eb785c3d20e9aeba0328.png

dd7da89f11b1c9d58201b0793e2f68e5.png

9e94ef22a1f71261fb5ca43a06ec4ed3.png

6. 该教程包含两个工作流,下面将逐一为大家演示:
    * 通过图片和文本提示生成视频;
    * 通过起始帧、结束帧和提示词生成视频。

通过图片和文本提示生成视频

1. 新建一个终端,运行「 apt-get update && apt-get install libgl1 -y --fix-missing」命令。

dd74b824f3ac774b266e2288f84683b9.png

29bb17a710868177164c4be92d8102f3.png

2. 运行「./run.sh」命令,稍等片刻,当命令行出现「https://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中打开 Gradio 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

256db7ecf294b6dc686b28f60a6deaa1.png

831334fbc4c24dc8396226f2a381996f.png

3. 打开 ComfyUI 界面后,点击「Switch Locale」将语言切换成中文,随后点击「加载默认」加载图生视频工作流。

e7272395a43a9f7b65db02d4fc77ac4c.png

167af915a428a1ee7791537aba8501bd.png

0a7d643b84ccf4ced79cf3614cf3c5d9.png

4. 上传一张图片,在文本框输入 Prompt 后(例如:a dog is driving car),点击「添加提示词队列」即可生成视频。

c60e90d7839d4d2c03f54ff0d8cb2512.jpeg

5. 小狗已经会开车了。

5f8b9db374517cb916922d48508cae5d.gif

通过图片和文本提示生成视频

1. 点击「加载」右侧的下拉箭头,选择「图到图生视频工作流」。

5a468d302a30002129e333899779b4eb.png

2. 切换工作流后,上传一张起始帧图片、一张结束图片以及 Prompt(例如:a man is walking towards a tree),点击「添加提示词队列」,即可生成视频。

d264c1fd4ea398a3d9f3a5dd2d9b7520.png

4588eb6c547e474f4b22dbbfd4bdb0f7.gif

目前,HyperAI超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。

点击链接即可搜索相关教程及数据集:

https://hyper.ai/tutorials

编辑:于腾凯

校对:龚力

aa766e38e461ce1b716c55b056897555.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值