[ComfyUI]腾讯黑科技炸场!数字人Sonic开源:真人级流畅动作!

[ComfyUI]腾讯黑科技炸场!数字人Sonic开源:真人级流畅动作!

前 言

好久没分享新的开源数字人技术了,主要是觉得相比以前的模型并没有太大的优势。

不过最近腾讯开源的 Sonic,尝试了,效果是真不错。动作幅度更大不说,表情动作也更加的自然流畅,唇形同步效果也更真实。

具体如何,我们直接开整。

项目地址:https://jixiaozhong.github.io/Sonic/

Sonic 是支持真人和动漫角色的,也支持语音驱动和歌曲驱动,不过这些都是数字人的基操,我们简单介绍一下就好了。

ComfyUI 社区已经有大神对 Sonic 进行了集成,所以我们现在可以直接在 ComfyUI 中进行体验。

不过光看官方的例子肯定是不够的,我们还是需要自己来体验一下的。

接下来我们来看看具体如何使用,在 ComfyUI 管理器中进行搜索安装即可:ComfyUI_Sonic。

插件地址:

https://github.com/smthemex/ComfyUI_Sonic

安装好以后还需要下载对应的模型,可以去以上的插件地址自行下载,模型听雨也放了一份在文末的网盘里,需要的小伙伴自取。

以下是对应的工作流,配置好模型以后,直接上传一张图片和一段音频点击生成就可以了。

上传的图片最好是以正面的脸部为主,多余部分会被裁掉。

image.png

节点上的参数默认即可,我们来看下边这个节点,svd_repo 这里的模型,小伙伴们可能本地就有,填上模型的本地路径就可以了,没有的小伙伴直接从文末的网盘下载任意放置一个位置,把路径复制过来就可以了。

img

这里主要是用来设置分辨率的,一般我们使用默认的 512 就好,大概需要 13G 显存,768 大概需要 23G 显存,所以按自己的配置来。

生成 512 分辨率的 10s 视频,4090 大概需要 160s,速度也还是挺快的。

10s 不是模型的极限,Sonic 可以生成更长的视频,官方展示了 10 分钟的稳定视频例子。

img

整体体验下来,觉得效果真的很不错!

好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!

为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

img

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

img

在这里插入图片描述

### ComfyUI Sonic 开源项目概述 #### 项目背景与特点 ComfyUI 是 Stable Diffusion 的一种图形化操作界面,因其灵活性和强大的功能而受到广泛欢迎。Sonic 则是由腾讯开发的一个开源项目,专注于通过照片加声音生成数字人开口说话的视频[^1]。 #### 技术亮点 分层对齐框架用于将动画分解为唇部同步、表情渲染以及头部运动三个部分来逐优化;动态锚点技术确保长时间内画面稳定性,防止图像变形。这些特性使得最终产出的内容既自然又连贯[^2]。 #### 易用性和社区支持 由于集成了上述先进技术并保持了良好的用户体验设计,Sonic 已经被成功引入到了 ComfyUI 中。这不仅降低了新用户的入门门槛,还促进了更多创意作品的诞生。活跃的开发者群体也贡献了大量的教程和支持文档供学习交流之用[^3]。 #### 性能表现 尽管目前存在一些性能瓶颈——例如对于较长片段可能需要较久的时间才能完成处理过程(约每秒一帧),但这并不影响它作为一个极具潜力的技术平台的地位。未来随着算法改进和技术迭代,预计效率方面会有显著提升[^4]。 ```bash # 安装依赖环境 (Python >= 3.8 required) pip install comfyui sonic # 启动服务端程序 comfyui --port=7860 & sonic-server start ``` #### 获取资源链接 为了方便获取最新版软件包及相关资料,建议访问官方 GitHub 页面下载安装文件,并查阅详细的使用指南: - **GitHub**: https://github.com/comfyanonymous/ComfyUI-Sonic - **Wiki 文档**: https://github.com/comfyanonymous/ComfyUI-Sonic/wiki/Tutorials-and-Guides
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值