代跑LiveTalking 数字人项目

 📖 项目介绍

LiveTalking 是一个实时交互式数字人直播系统，支持实时音视频对话，可实现商业级效果。本项目基于开源框架 [LiveTalking](https://github.com/lipku/LiveTalking) 进行二次开发，提供完整的部署方案和商业化支持。可代跑项目，欢迎大家交流讨论~

 🤖 项目来源：

lipku/LiveTalking: Real time interactive streaming digital human

✨ 主要特性

  - 支持多种数字人模型

  - wav2lip - 精准唇形同步

  - ernerf - 3D真实渲染

  - musetalk - 丰富表情系统

  - Ultralight-Digital-Human - 轻量级模型

- 🗣️ 语音克隆功能

- ⚡ 实时打断与响应

- 🎬 支持全身视频拼接

- 📡 双协议推流(RTMP/WebRTC)

- 🎭 支持视频编排

- 🚀 多并发支持

 🛠️ 环境要求

- 操作系统: Ubuntu 20.04 LTS

- Python版本: 3.10

- CUDA版本: 11.3

- GPU要求: NVIDIA显卡(8GB+显存)

- 内存要求: 16GB以上

- 存储空间: 100GB以上

 📦 快速开始

1. 环境配置

```bash

# 创建conda环境

conda create -n nerfstream python=3.10

conda activate nerfstream

# 安装PyTorch

conda install pytorch==1.12.1 torchvision==0.13.1 cudatoolkit=11.3 -c pytorch

# 安装依赖

pip install -r requirements.txt

```

2. 模型下载

从以下链接下载预训练模型:

- 夸克网盘: https://pan.quark.cn/s/83a750323ef0

- Google Drive: https://drive.google.com/drive/folders/1FOC_MD6wdogyyX_7V1d4NDIO7P9NlSAJ

下载后配置:

（1） 将 `wav2lip256.pth` 复制到 `models` 目录并重命名为 `wav2lip.pth`

（2）解压 `wav2lip256_avatar1.tar.gz` 到 `data/avatars` 目录

 3. 启动服务

```bash

# 如果无法访问huggingface，请先设置镜像

export HF_ENDPOINT=https://hf-mirror.com

# 启动服务

python app.py --transport webrtc --model wav2lip --avatar_id wav2lip256_avatar1

```

访问 `http://服务器IP:8010/webrtcapi.html` 进行测试

4. Docker部署

```bash

docker run --gpus all -it --network=host --rm registry.cn-beijing.aliyuncs.com/codewithgpu2/lipku-metahuman-stream:2K9qaMBu8v

```

🔧 高级配置

1.端口配置

- WebRTC: TCP 8010

- UDP: 1-65536

2.模型训练

如需训练ernerf模型，需要安装额外依赖:

```bash

pip install "git+https://github.com/facebookresearch/pytorch3d.git"

pip install tensorflow-gpu==2.8.0

pip install --upgrade "protobuf<=3.20.1"

```

可代跑项目，欢迎大家交流讨论~