[ComfyUI]腾讯黑科技炸场!数字人Sonic开源:真人级流畅动作!
前 言
好久没分享新的开源数字人技术了,主要是觉得相比以前的模型并没有太大的优势。
不过最近腾讯开源的 Sonic,尝试了,效果是真不错。动作幅度更大不说,表情动作也更加的自然流畅,唇形同步效果也更真实。
具体如何,我们直接开整。
项目地址:https://jixiaozhong.github.io/Sonic/
Sonic 是支持真人和动漫角色的,也支持语音驱动和歌曲驱动,不过这些都是数字人的基操,我们简单介绍一下就好了。
ComfyUI 社区已经有大神对 Sonic 进行了集成,所以我们现在可以直接在 ComfyUI 中进行体验。
不过光看官方的例子肯定是不够的,我们还是需要自己来体验一下的。
接下来我们来看看具体如何使用,在 ComfyUI 管理器中进行搜索安装即可:ComfyUI_Sonic。
插件地址:
https://github.com/smthemex/ComfyUI_Sonic
安装好以后还需要下载对应的模型,可以去以上的插件地址自行下载,模型听雨也放了一份在文末的网盘里,需要的小伙伴自取。
以下是对应的工作流,配置好模型以后,直接上传一张图片和一段音频点击生成就可以了。
上传的图片最好是以正面的脸部为主,多余部分会被裁掉。
节点上的参数默认即可,我们来看下边这个节点,svd_repo 这里的模型,小伙伴们可能本地就有,填上模型的本地路径就可以了,没有的小伙伴直接从文末的网盘下载任意放置一个位置,把路径复制过来就可以了。
这里主要是用来设置分辨率的,一般我们使用默认的 512 就好,大概需要 13G 显存,768 大概需要 23G 显存,所以按自己的配置来。
生成 512 分辨率的 10s 视频,4090 大概需要 160s,速度也还是挺快的。
10s 不是模型的极限,Sonic 可以生成更长的视频,官方展示了 10 分钟的稳定视频例子。
整体体验下来,觉得效果真的很不错!
好了,今天的分享就到这里了,感兴趣的小伙伴快去试试吧!
为了帮助大家更好地掌握 ComfyUI,我花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取
一、ComfyUI配置指南
- 报错指南
- 环境配置
- 脚本更新
- 后记
- …
二、ComfyUI基础入门
- 软件安装篇
- 插件安装篇
- …
三、 ComfyUI工作流节点/底层逻辑详解
- ComfyUI 基础概念理解
- Stable diffusion 工作原理
- 工作流底层逻辑
- 必备插件补全
- …
四、ComfyUI节点技巧进阶/多模型串联
- 节点进阶详解
- 提词技巧精通
- 多模型节点串联
- …
五、ComfyUI遮罩修改重绘/Inpenting模块详解
- 图像分辨率
- 姿势
- …
六、ComfyUI超实用SDXL工作流手把手搭建
- Refined模型
- SDXL风格化提示词
- SDXL工作流搭建
- …
由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取