[AI 快手 LivePortrait] 引领高效肖像动画新时代

快手推出了 LivePortrait，具有拼接和重定向控制的高效肖像动画。

快速开始

下载代码，准备环境

登录后复制

git clone https://github.com/KwaiVGI/LivePortrait
cd LivePortrait

# create env using conda
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait
# install dependencies with pip
pip install -r requirements.txt

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.

下载预训练权重

•  Google Drive
•  Baidu Yun

登录后复制

pretrained_weights
├── insightface
│   └── models
│       └── buffalo_l
│           ├── 2d106det.onnx
│           └── det_10g.onnx
└── liveportrait
    ├── base_models
    │   ├── appearance_feature_extractor.pth
    │   ├── motion_extractor.pth
    │   ├── spade_generator.pth
    │   └── warping_module.pth
    ├── landmark.onnx
    └── retargeting_models
        └── stitching_retargeting_module.pth

• 1.
• 2.
• 3.
• 4.
• 5.
• 6.
• 7.
• 8.
• 9.
• 10.
• 11.
• 12.
• 13.
• 14.
• 15.

推理

登录后复制

python inference.py

# 指定图片和驱动视频
python inference.py -s assets/examples/source/s9.jpg -d assets/examples/driving/d0.mp4

• 1.
• 2.
• 3.
• 4.

Gradio 接口

登录后复制

python app.py

• 1.

推理速度评估

登录后复制

python speed.py

• 1.

例子

试用了下，使用图片

生成视频如下

请查看博客或公众号中视频。。。

感觉效果很不错！而且权重很小，600M左右。快手厉害了。

FAQ

ImportError: libGL.so.1: cannot open shared object file: No such file or directory

apt-get update && apt-get install ffmpeg libsm6 libxext6 -y

---

•  homepage
•  github
•  AI 博客 - 从零开始学AI
•  公众号 - 从零开始学AI

原创作者: u_16810723 转载于: https://blog.51cto.com/u_16810723/11408638