闲聊从零开发一个2D数字人流程实战

• .2D数字人技术

1. 百度，腾讯，等大厂都有自己的数字平台制作（套壳：api+后台转发+vue前端），国外也有出名的heygen（非常厉害一个）
2. 通过开源项目组合实现，再打通每个项目已api的形式提供调用。

1. 对口型
2. 不对口型

• 组合形式（ai 项目总结）

1. 素材准备

a.1张图片或者自己拍摄一个短10秒钟视频（图片效果肯定没有视频好）

b.全新制作一个不存在现实的数字人（制作）

2.全新数字人形象制作。

  （1）技术软件：Stable_Diffusion或者Fooocus

选择：Fooocus  （对标sd，使用简单，对机器要求不高！）

      GitHub - lllyasviel/Fooocus: Focus on prompting and generating  

      提示词:Beautiful girl with a clear front and face

获得一张形象图片保存好。

Ai软件安装流程大多（每个人遇到问题都可能不一样，使用系统不一样）：

conda create -n 名称xx python=xxx

conda activate 名称xx

安装torch touchversion 这里要注意电脑有cuda的可以到

Start Locally | PyTorch 上下载对应的torch 安装 例如下面：pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

安装环境: pip isntall -r requirements.txt

遇到问题：

0.先到项目git的Issues上面查找，一般都能找到。

1.GPT等工具查找问题

2.google或者百度

3.技术群询问

1. .10秒视频准备。

1. 可以自己拍摄（必须是脸部清晰）
2. 去网站上面找，这里就找了韩国美女。

    

1. .换脸:把之前虚拟图片脸换到视频上

技术选型：facefusion

GitHub - facefusion/facefusion: Next generation face swapper and enhancer

1. .高清修复。

   技术选型:CodeFormer

   GitHub - sczhou/CodeFormer: [NeurIPS 2022] Towards Robust Blind Face Restoration with Codebook Lookup Transformer

1. 剪影工具裁剪出稳定脸部清晰的2到3帧再拼接成10秒视频，需要注意就是拼接时候要反向合并视频。

1. 语音克隆。

   技术选型有2种，

1. GitHub - Plachtaa/VITS-fast-fine-tuning: This repo is a pipeline of VITS finetuning for fast speaker adaptation TTS, and many-to-many voice conversion
2. https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI

选择：RVC  原因就是效果比较好，这样需要知道就是现在语音克隆有两种在底模训练好情况下：

一种是Text-to-speed 也就是文字到语音，测试下来效果不太稳定，10句同样文字输出速率都有可能不一样！

第二种RVC，speed-to-speed 语音到语音，比较稳，但是这里就要多做一步文字转语音再转，这里推荐使用微软免费tts,多国语言选择参考:https://github.com/rany2/edge-tts

pip install edge-tts

edge-tts --voice zh-CN-YunxiNeural --rate=-4% --text "hello 大家好" --write-media hello1.mp3

速度其实和第一种区别不大，RVC转换很快。

1. 对口型video-retalking。

GitHub - OpenTalker/video-retalking: [SIGGRAPH Asia 2022] VideoReTalking: Audio-based Lip Synchronization for Talking Head Video Editing In the Wild

1. 通过上面的项目进行串联使用api形式进行调用（暂无）。

输入文字=》tts==>RVC  ==>video-retalking==>视频