看到上面面部表情动态图片,是不是感觉挺有有意思?它就是通过快手、中科大和复旦大学联合研发的图生视频开源大模型LivePortrait(灵动人像)生成的视频。通过LivePortrait大模型,我们只需要一张人脸正面图片和一段文字或音频,即可制作专业的视频内容,例如产品介绍、教学课程、趣味视频等。
有关LivePortrait更多的展示样例参见:https://liveportrait.github.io/
老牛同学将和大家一起,在本地部署LivePortrait图生视频大模型,并且生成我们自己的视频。本文将包括以下几部分:
- 基础环境准备:与我们之前部署 LLM 大模型不同,LivePortrait涉及到音频和视频等多媒体数据的处理,因此环境要稍微复杂一点
- LivePortrait 配置:包括大模型权重文件下载、配置等
- LivePortrait 使用:包括通过图片生成视频、Web 界面可视化生成视频等(建议配合 GPU 进行使用,老牛同学纯 CPU推理速度较慢)
LivePortrait 理论研究,可以参见论文:https://arxiv.org/pdf/2407.03168
LivePortrait 基础环境准备
基础环境准备分为以下 3 步:克隆 GitHub 示例源代码、安装 Python 依赖包和下载配置FFmpeg音视频工具库
【第一步:下载 GitHub 示例源码】
GitHub 示例源码下载目录:LivePortrait
git clone https://github.com/KwaiVGI/LivePortrait
特别注意: 示例代码克隆成功之后,我们可以看到示例源码目录LivePortrait
下,有个pretrained_weights
空目录,它就是用来存放预训练权重文件的目录,接下来的我们会下载权重文件!
【第二步:安装 Python 依赖包】
切换到 GitHub 示例源码目录:cd LivePortrait
# 激活环境:特别注意Python版本为3.9.18,其他版本可能不支持(老牛同学3.12就不支持)
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait
# 安装依赖包
pip install