使用“阿里云人工智能平台 PAI”制作数字人

最新推荐文章于 2025-03-30 10:53:13 发布

高兴就好(石

最新推荐文章于 2025-03-30 10:53:13 发布

阅读量681

点赞数 6

分类专栏：大模型文章标签：阿里云人工智能云计算

本文链接：https://blog.csdn.net/szw_yx/article/details/140799892

版权

体验阿里云人工智能平台 PAI

PAI-DSW免费试用

https://free.aliyun.com/?spm=5176.14066474.J_5834642020.5.7b34754cmRbYhg&productCode=learn

https://help.aliyun.com/document_detail/2261126.html

体验PAI-DSW

https://help.aliyun.com/document_detail/2261126.html
在这里插入图片描述

基于Wav2Lip+TPS-Motion-Model+CodeFormer技术实现动漫风数字人

只需要输入一张动漫形象图片，以及你想让它说的文本内容，它就可以准确的说出你的文本内容并模仿人类的说话动作！

动漫形象的生成可以参考开源代码库 EasyPhoto 、案例easyphoto_diffusers、stable_diffusion_easyphoto。

语音生成相关案例可以参考：ai_singer_rvc、ai_singer_svc。

环境准备

克隆开源代码（网络不稳克隆容易失败，建议多尝试几次。）

#注意：Wav2Lip开源库不可商用，仅用于教学。请遵纪守法，不要用于非法活动。
!git clone https://github.com/Rudrabha/Wav2Lip.git

!git clone https://github.com/yoyo-nb/Thin-Plate-Spline-Motion-Model.git

!git clone https://github.com/sczhou/CodeFormer.git

注释掉codeformer中的import bug：

!sed -i 's/from .version/# from .version/' CodeFormer/basicsr/__init__.py

初始化工作目录：

import os.path as osp

WORKDIR = osp.abspath('.')
print(f'work directory: {
     WORKDIR}')
WAV2LIP_WORKDIR = osp.join(WORKDIR, 'Wav2Lip')
print(f'wav2lip directory: {
     WAV2LIP_WORKDIR}')
CODEFORMER_WORKDIR = osp.join(WORKDIR, 'CodeFormer')
print(f'codeformer directory: {
     CODEFORMER_WORKDIR}')
MOTION_MODEL_WORKDIR = osp.join