AI 数字人制作(方案一):输入一张图片和一段文字即可生成数字人

文章提供了三种AI数字人制作方案,包括使用开源项目整合的方案,涉及Text2Voice、LiveSpeechPortraits和Thin-Plate-Spline-Motion-Model;利用Wav2Lip和GFPGAN技术的方案;以及西安交大和腾讯的SadTalker项目,能替代D_ID生成高质量数字人。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

方案一:

原文:AI 数字人制作(方案一)_哔哩哔哩_bilibili

AI 文字和图片生成数字人(输入一张图片和一段文字即可生成数字人)

《用三个开源项目整合成可以商用的数字人项目》
文本生成语音开源地址:https://github.com/weineng-zhou/text2voice
语音驱动表情和嘴型开源地址:https://github.com/YuanxunLu/LiveSpeechPortraits
动作迁移开源地址:https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model

Text+Image2DigitalPerson  (浪子之心科技  卢瑞 )
 1、输入文字  ------    输入" text-input"
 2、将文字转化成语音  ------   输出 "voice-output"
 3、输入------"voice-output"到语音驱动嘴唇及表情
 4、用语音驱动嘴唇及表情( LiveSpeechPortraits)  ------  输出“LiveSpeech-output”
 5、输入图片 ------ 输入“image-input”到Thin-Plate-Spline-Motion-Model 进行动作迁移
 6、动作迁移后 ------  输出 “Moton-output”
 7、最后将声音和视频合成 ------  输出 “result”

备注: 如果要商业,还需要视频融合,超分辨率,界面设计,打包部署等。

方案二:AI 数字人制作

原文:AI 数字人制作(方案二)_哔哩哔哩_bilibili

AI 自制数字人(Wav2Lip-GFPGAN)
Wav2Lip代码地址:https://github.com/Rudrabha/Wav2Lip
GFPGAN代码地址:https://github.com/TencentARC/GFPGAN
Wav2Lip-GFPGAN代码地址:https://github.com/ajay-sainy/Wav2Lip-GFPGAN
2D,2.5D数字人制作我已经出了好几个视频,制作方法也介绍了3个以上,后期将出3D数字人的制作方法视频。

方案三:AI 数字人制作

原文:AI 数字人制作(方案三)_哔哩哔哩_bilibili

AI 图片和语音生成数字人(国产版D_ID)
只需要进行调参就可以平替换DID,效果很好。
来自西安交大和腾讯的SadTalker,CVPR 2023年顶会论文。
开源代码地址:https://github.com/Winfredy/SadTalker

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值