ComfyUI混元视频首尾帧特效,稳定性超神,你还不来试试?

图片

这两天社区出了混元版的首尾帧,模型效果不错,可以玩起来,显存最低要16G

一、混元首尾帧介绍

今天继续分享混元视频,最近社区有人分享了混元的首尾帧的lora模型,测试下来发现效果很不错,也算补齐了这一个短板。

在人工智能驱动的视频创作领域,RunwayGen-3 Alpha TurboKling 等工具展示了基于关键帧的生成的潜力,可实现指定帧之间的平滑过渡。受此方法的启发,推出了Hunyuan Keyframe LoRA ,这是一款基于Hunyuan Video框架构建的开源解决方案。此模型使创作者能够在开源生态系统中定义关键帧并生成无缝视频序列。

相关资料:

这份完整版的AI资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

今天就来带大家体验一下。

二、相关安装

要体验混元的这个首尾帧,要满足以下条件

插件安装

插件地址:https://github.com/kijai/ComfyUI-HunyuanVideoWrapper

用到的插件还是KJ大佬的 ComfyUI-HunyuanVideoWrapper,这个是老演员了,大家更新到最新的即可。

模型安装

  • hunyuan_video_720_cfgdistill_bf16.safetensors:视频模型用的是以前文生视频模型,不是最新的图生视频模型。

  • HunyuanVideo_dashtoon_keyframe_lora_converted_bf16.safetensors:LORA模型存放ComfyUI/models/loras目录下,下载:https://github.com/dashtoon/hunyuan-video-keyframe-control-lora

  • llava-llama-3-8b-text-encoder-tokenizer

  • clip-vit-large-patch14

  • hunyuan_video_vae_bf16.safetensors

这些模型完整路径截图如下,以上就是用到的相关模型,文末网盘都会给出。

三、使用说明

完整工作流如下,已同步各大平台

liblib:https://www.liblib.art/modelinfo/d372d2bf5480465fa6ea92e5ff5864f8

RunningHUB:https://www.runninghub.cn/ai-detail/1899161829959188481?utm_source=kol01-RH024

这是官方的一些推荐:

该模型最适合用于人类受试者。单个受试者的图像效果稍好一些。 960x544使用1280x720图像生成分辨率720x1280 544x960 建议将帧数设置为 33 至 97。也可以设置为 121 帧(但没有进行太多测试)。 提示很有帮助,但即使没有提示也能发挥作用。提示可以简单到只是您想要生成的对象的名称,也可以很详细。 num_inference_steps建议为 50,但为了快速获得结果,您也可以使用 30。不建议小于 30。

  • 该模型在人类主体上表现最佳,单主体图像效果稍好。

  • 推荐使用以下图像生成分辨率:720x1280、544x960、1280x720、960x544

  • 建议帧数范围设置为33到97帧,最高可扩展至121帧(但未经充分测试)。

  • **提示词(Prompt)**能显著提升效果,但非必需,简单如物体名称或详细描述均可。

  • num_inference_steps参数推荐设置为50,若需快速生成可使用30步,不建议小于30。

我跑了几组效果,发现真不错,我提示词没用,就是单纯的用两张图来跑,尺寸用的是544x960,65帧画了243秒。

下面来看看我跑的几组案例:

对了,这里我没开 Enhance A Video,因为开了效果会差一些。 下面是开了前后的效果对比。左边是开启了EAV,视频图就崩了。

四、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用我部署的云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

这份完整版的AI新手入门资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

在这里插入图片描述

### ComfyUI与腾讯混元的集成 关于ComfyUI与腾讯混元大模型的具体集成情况,在当前可获得的信息中并没有直接提及这两者之间的官方集成方案[^1]。然而,可以推测这种集成本质上涉及两个主要方面:一是如何通过API调用的方式使ComfyUI能够利用腾讯混元的能力;二是确保两者之间数据交换的安全性效率。 #### 一、API调用方式实现集成 对于大多数现代应用程序而言,最常见也是最为推荐的做法是借助RESTful API或gRPC这样的远程过程调用来完成不同服务间的交互。如果想要让ComfyUI接入并使用腾讯混元的功能,则需要依赖于后者所提供的开放平台接口文档来构建相应的客户端逻辑[^3]。这可能涉及到身份验证机制的设计以及对特定端点的理解应用。 #### 二、安全高效的通信保障 当考虑将一个图形化界面工具(如ComfyUI)同高性能计算框架(比如支持多模态处理的大规模预训练模型——腾讯混元)结合起来时,除了功能上的对接外,还需要特别关注网络传输层面的安全措施。例如采用HTTPS协议加密敏感信息传递路径,并设置合理的时重试策略以应对可能出现的服务不可达状况。 ```python import requests def call_tencent_hunyuan_api(api_key, endpoint_url, payload): headers = { 'Authorization': f'Bearer {api_key}', 'Content-Type': 'application/json' } response = requests.post(endpoint_url, json=payload, headers=headers) if response.status_code == 200: result = response.json() return result['data'] else: raise Exception(f'Request failed with status code {response.status_code}') ``` 此代码片段展示了如何创建一个简单的Python函数用于向假设存在的腾讯混元API发送POST请求。实际开发过程中应当参照最新的官方开发者手册调整参数配置细节[^4]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值