[ComfyUI]腾讯开源黑科技Sonic,插件更新,更加可控啦

一、Sonic更新介绍

大家还记得我前分享过腾讯开源的Sonic这个项目吧,通过照片+声音就可以生成非常不错的数字人开口说话的视频。

当时我就挺满意的,不过那时候输出还只能输出正方形的视频,这点就让我留有遗憾。

今天我再去翻作者的项目官网,我发现作者给力,把这块给更新了,现在支持非正方形的输出了,爱了爱了。

今天给大家说一下修改的地方,参数有了一些小调整。

二、详细说明

工作流稍微改了一点,主要是里面的参数,大家直接看我这个最新工作流截图:

我把变动点说一下:

SONICTLoader 节点变简单了,不需要自己配置路径
参数默认按我截图设置即可。

SONIC_PreData:这个节点核心参数多了一个duration,这个就是截取视频时长的意思,单位为秒。我这里直接把视频里面的时长传递过来了。

然后最重要的是现在min_resolution这个参数就对应最短边了,不会全部裁剪成正方形输出了。

最后,主模型要选择svd_xt_1_1.safetensors了,这个模型之前也需要,把它拷过来放到 ComfyUI/models/checkpoints

另外sonic这个模型还要

三、云端镜像

大家如果没有本地 ComfyUI 环境,或者本地显卡配置低于 16G 的,可以使用嘟嘟部署的仙宫云镜像,可直接加载使用。后续分享的工作流都会更像到镜像中,一周更新一次,方便大学学习。

目前整合了2个镜像,一个是Flux绘图用的,另外一个是针对视频模型的,之所以分开是一些模型兼容问题,分开比较好处理。

今天这个数字人案例已经弄到镜像上了,欢迎体验。

镜像名称:嘟嘟AI绘画趣味学


云平台镜像地址:

https://www.xiangongyun.com/image/detail/d961a7dc-ade3-4bd5-a7c6-92ac49ff5e4b?r=37BCLY

https://www.xiangongyun.com/image/detail/81716d29-4461-4b0b-ba4b-7b9b7dd569d3?r=37BCLY

新用户通过邀请码注册,总共可获得 8 元奖励,体验 4 个小时的 4090 作图时长

四、总结

这就是Sonic的更新介绍了,效果我还是很满意的,感觉可以用来搞东西玩了。
后面给大家介绍一些声音克隆的软件,结合起来效果就很好。
上个用CosyVoice V2克隆声音的画面。


技术的迭代是飞快的,要关注最新的消息才不会掉队。​

嘟嘟每天分享最新的ComfyUI技术前沿。​

本篇中的工作流和模型网盘链接:https://pan.quark.cn/s/dd5da20b5287

我是嘟嘟,专注于 AI 绘画以及 AI 工具分享,欢迎来一起交流。​

如果觉得文章有帮助,请帮忙点赞收藏关注一下呦~​

### ComfyUI Sonic 开源项目概述 #### 项目背景与特点 ComfyUI 是 Stable Diffusion 的一种图形化操作界面,因其灵活性和强大的功能而受到广泛欢迎。Sonic 则是由腾讯开发的一个开源项目,专注于通过照片加声音生成数字人开口说话的视频[^1]。 #### 技术亮点 分层对齐框架用于将动画分解为唇部同步、表情渲染以及头部运动三个部分来逐级优化;动态锚点技术确保长时间内画面稳定性,防止图像变形。这些特性使得最终产出的内容既自然又连贯[^2]。 #### 易用性和社区支持 由于集成了上述先进技术并保持了良好的用户体验设计,Sonic 已经被成功引入到了 ComfyUI 中。这不仅降低了新用户的入门门槛,还促进了更多创意作品的诞生。活跃的开发者群体也贡献了大量的教程和支持文档供学习交流之用[^3]。 #### 性能表现 尽管目前存在一些性能瓶颈——例如对于较长片段可能需要较久的时间才能完成处理过程(约每秒一帧),但这并不影响它作为一个极具潜力的技术平台的地位。未来随着算法改进和技术迭代,预计效率方面会有显著提升[^4]。 ```bash # 安装依赖环境 (Python >= 3.8 required) pip install comfyui sonic # 启动服务端程序 comfyui --port=7860 & sonic-server start ``` #### 获取资源链接 为了方便获取最新版软件包及相关资料,建议访问官方 GitHub 页面下载安装文件,并查阅详细的使用指南: - **GitHub**: https://github.com/comfyanonymous/ComfyUI-Sonic - **Wiki 文档**: https://github.com/comfyanonymous/ComfyUI-Sonic/wiki/Tutorials-and-Guides
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值