实时交互流式数字人开源项目推荐

Real time interactive streaming digital human， realize audio video synchronous dialogue. It can basically achieve commercial effects.
实时交互流式数字人，实现音视频同步对话。基本可以达到商用效果

ernerf效果 musetalk效果 wav2lip效果

为避免与3d数字人混淆，原项目metahuman-stream改名为livetalking，原有链接地址继续可用

News

• 2024.12.8 完善多并发，显存不随并发数增加
• 2024.12.21 添加wav2lip、musetalk模型预热，解决第一次推理卡顿问题。感谢@heimaojinzhangyz
• 2024.12.28 添加数字人模型Ultralight-Digital-Human。 感谢@lijihua2017
• 2025.1.26 添加wav2lip384模型 感谢@不蠢不蠢

Features

1. 支持多种数字人模型: ernerf、musetalk、wav2lip、Ultralight-Digital-Human
2. 支持声音克隆
3. 支持数字人说话被打断
4. 支持全身视频拼接
5. 支持rtmp和webrtc
6. 支持视频编排：不说话时播放自定义视频
7. 支持多并发

注:(常用命令:

rem 设置环境变量
set CANDIDATE=192.168.1.100

rem 验证环境变量
echo %CANDIDATE%

rem 运行 Docker 命令
docker run --rm --env CANDIDATE=%CANDIDATE% ^
  -p 1935:1935 -p 8080:8080 -p 1985:1985 -p 8000:8000/udp ^
  registry.cn-hangzhou.aliyuncs.com/ossrs/srs:5 ^
  objs/srs -c conf/rtc.conf

cd C:\Users\lihe4\LiveTalking
conda activate nerfstream

python app.py

备份当前源
在修改之前，建议先备份原始源列表。你可以通过以下命令备份：

bash
复制代码
sudo cp /etc/apt/sources.list /etc/apt/sources.list.backup

)

1. Installation

Tested on Ubuntu 20.04, Python3.10, Pytorch 1.12 and CUDA 11.3

1.1 Install dependency

conda create -n nerfstream python=3.10
conda activate nerfstream
#如果cuda版本不为11.3(运行nvidia-smi确认版本)，根据<https://pytorch.org/get-started/previous-versions/>安装对应版本的pytorch 
conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch
pip install -r requirements.txt
#如果不训练ernerf模型，不需要安装下面的库
pip install "git+https://github.com/facebookresearch/pytorch3d.git"
pip install tensorflow-gpu==2.8.0
pip install --upgrade "protobuf<=3.20.1"

安装常见问题FAQ
linux cuda环境搭建可以参考这篇文章 https://zhuanlan.zhihu.com/p/674972886

2. Quick Start

• 下载模型
  百度云盘百度网盘 请输入提取码 密码: ltua
  GoogleDriver https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ?usp=sharing
  将wav2lip384.pth拷到本项目的models下, 重命名为wav2lip.pth;
  将wav2lip384_avatar1.tar.gz解压后整个文件夹拷到本项目的data/avatars下
• 运行
  python app.py --transport webrtc --model wav2lip --avatar_id wav2lip384_avatar1
  用浏览器打开http://serverip:8010/webrtcapi.html , 在文本框输入任意文字，提交。数字人播报该段文字

<font color=red>服务端需要开放端口 tcp:8010; udp:1-65536 </font>

如果访问不了huggingface，在运行前

export HF_ENDPOINT=https://hf-mirror.com

3. More Usage

使用说明: Welcome to livetalking documentation! — LiveTalking 0.1 documentation

4. Docker Run

不需要前面的安装，直接运行。

docker run --gpus all -it --network=host --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:vjo1Y6NJ3N

代码在/root/metahuman-stream，先git pull拉一下最新代码，然后执行命令同第2、3步

提供如下镜像

• autodl镜像: CodeWithGPU | 能复现才是好算法
  autodl教程
• ucloud镜像: 优云智算 | LiveTalking-v1.2一键部署
  可以开放任意端口，不需要另外部署srs服务.
  ucloud教程

5. TODO

• 添加chatgpt实现数字人对话
• 声音克隆
• 数字人静音时用一段视频代替
• MuseTalk
• Wav2Lip
• Ultralight-Digital-Human

项目地址:https://github.com/lipku/LiveTalking

---