Talking Head Anime 2: More Expressive 项目教程

Talking Head Anime 2: More Expressive 项目教程

talking-head-anime-2-demo Demo programs for the Talking Head Anime from a Single Image 2: More Expressive project. 项目地址: https://gitcode.com/gh_mirrors/ta/talking-head-anime-2-demo

1、项目介绍

Talking Head Anime 2: More Expressive 是一个开源项目，旨在通过单张图像生成具有丰富表情的动漫角色头部动画。该项目由 pkhungurn 开发，并在 GitHub 上公开发布。与前一版本相比，本项目提供了更加丰富的表情和头部旋转控制功能。

项目主要包含两个程序：

• manual_poser: 通过图形用户界面（GUI）手动控制动漫角色的面部表情和头部旋转。
• ifacialmocap_puppeteer: 将通过 iOS 应用 iFacialMocap 捕捉到的面部动作实时传输到动漫角色图像上。

2、项目快速启动

2.1 环境准备

首先，确保你的系统满足以下硬件和软件要求：

• 硬件要求: 需要一块较新的 Nvidia GPU，推荐使用 RTX 2080、RTX 3080 或更高性能的显卡。
• 软件要求:
  • Python >= 3.8
  • PyTorch >= 1.7.1（支持 CUDA）
  • SciPy >= 1.6.0
  • wxPython >= 4.1.1
  • Matplotlib >= 3.3.4

2.2 安装依赖

使用 Anaconda 创建并激活虚拟环境：

conda create -n talking-head-anime-2-demo python=3.8
conda activate talking-head-anime-2-demo

安装 PyTorch 和其他依赖：

conda install pytorch torchvision cudatoolkit=10.2 -c pytorch
conda install scipy
pip install wxPython
conda install matplotlib

2.3 下载模型文件

从 Dropbox 链接 下载模型文件，并解压到项目的 data 目录下。

2.4 运行 manual_poser

在终端中激活环境并运行 manual_poser：

conda activate talking-head-anime-2-demo
python tha2/app/manual_poser.py

2.5 运行 ifacialmocap_puppeteer

首先，在 iOS 设备上运行 iFacialMocap 应用，并记下设备的 IP 地址。然后，在电脑上运行 ifacialmocap_puppeteer：

python tha2/app/ifacialmocap_puppeteer.py

3、应用案例和最佳实践

3.1 手动表情控制

使用 manual_poser 可以通过鼠标拖动控制角色的面部表情和头部旋转。这对于需要精细控制表情的场景非常有用。

3.2 实时面部捕捉

通过 ifacialmocap_puppeteer，用户可以将自己的面部动作实时映射到动漫角色上。这对于需要实时互动的场景非常有用，例如虚拟主播或实时动画制作。

4、典型生态项目

4.1 iFacialMocap

iFacialMocap 是一个 iOS 应用，能够通过 TrueDepth 摄像头捕捉用户的面部动作，并生成 blend shape 参数。这些参数可以被 ifacialmocap_puppeteer 使用，实现实时面部动作映射。

4.2 PyTorch

PyTorch 是该项目的主要深度学习框架，提供了强大的 GPU 加速支持，使得复杂的面部表情和头部旋转计算能够在较短时间内完成。

4.3 Anaconda

Anaconda 是一个开源的 Python 和 R 语言的发行版本，提供了方便的环境管理和包管理功能，使得项目的依赖安装和环境配置更加简单。

通过以上步骤，你可以快速启动并使用 Talking Head Anime 2: More Expressive 项目，实现丰富的动漫角色头部动画效果。

talking-head-anime-2-demo Demo programs for the Talking Head Anime from a Single Image 2: More Expressive project. 项目地址: https://gitcode.com/gh_mirrors/ta/talking-head-anime-2-demo