LipSick开源项目使用教程

LipSick开源项目使用教程

LipSick 🤢 LipSick: Fast, High Quality, Low Resource Lipsync Tool 🤮 项目地址: https://gitcode.com/gh_mirrors/li/LipSick

1. 项目的目录结构及介绍

LipSick项目的主要目录结构如下：

LipSick/
├── .github/
├── asserts/
│   ├── examples/
│   ├── inference_result/
│   ├── output_graph.pb
│   └── pretrained_lipsick.pth
├── models/
│   ├── Discriminator.py
│   ├── LipSick.py
│   ├── shape_predictor_68_face_landmarks.dat
│   ├── Syncnet.py
│   └── VGG19.py
├── utils/
├── wheels/
├── LICENSE
├── README.md
├── app.py
├── compute_crop_radius.py
├── environment.yml
├── inference.py
└── run_lipsick.bat

• .github/: 包含项目所需的GitHub特定配置文件。
• asserts/: 存放预训练模型文件和其他assert文件。
  • examples/: 可选，用于存放输入示例。
  • inference_result/: 存放推理结果。
  • output_graph.pb: DeepSpeech模型文件。
  • pretrained_lipsick.pth: LipSick预训练模型文件。
• models/: 包含项目所使用的模型定义文件。
  • Discriminator.py: 判别器模型。
  • LipSick.py: LipSick主模型。
  • shape_predictor_68_face_landmarks.dat: Dlib人脸标记模型文件。
  • Syncnet.py: 同步网络模型。
  • VGG19.py: VGG19模型。
• utils/: 包含项目所需的工具函数和模块。
• wheels/: 存放项目依赖的Python包。
• LICENSE: 项目许可证文件。
• README.md: 项目说明文件。
• app.py: 项目启动文件。
• compute_crop_radius.py: 用于计算裁剪半径的脚本。
• environment.yml: 用于创建项目环境的Anaconda配置文件。
• inference.py: 推理脚本。
• run_lipsick.bat: Windows系统下的批处理文件，用于启动LipSick应用。

2. 项目的启动文件介绍

项目的启动文件是app.py。该文件负责启动LipSick应用，并提供一个用户界面用于上传视频和音频文件进行处理。以下是app.py的主要功能：

• 加载预训练模型。
• 初始化应用界面。
• 处理用户上传的文件。
• 调用推理脚本进行处理。

3. 项目的配置文件介绍

项目的配置文件是environment.yml。该文件用于定义项目运行所需的Python环境和依赖包。使用Anaconda创建项目环境时，会根据此文件安装所需的Python包。以下是environment.yml的内容示例：

name: LipSick
channels:
  - pytorch
  - conda-forge
dependencies:
  - python=3.10
  - torch
  - torchvision
  - torchaudio
  - numpy
  - opencv-python
  - dlib
  - pydub
  - moviepy

在配置文件中，指定了Python的版本为3.10，以及一系列项目运行所依赖的包，如PyTorch、OpenCV、Dlib等。

LipSick 🤢 LipSick: Fast, High Quality, Low Resource Lipsync Tool 🤮 项目地址: https://gitcode.com/gh_mirrors/li/LipSick