LivePortrait 数字人:开源的图生视频模型,本地部署和专业视频制作详细教程

脸部动画
看到上面面部表情动态图片,是不是感觉挺有有意思?它就是通过快手、中科大和复旦大学联合研发的图生视频开源大模型LivePortrait(灵动人像)生成的视频。通过LivePortrait大模型,我们只需要一张人脸正面图片和一段文字或音频,即可制作专业的视频内容,例如产品介绍、教学课程、趣味视频等。

同步的面部表情
有关LivePortrait更多的展示样例参见:https://liveportrait.github.io/

老牛同学将和大家一起,在本地部署LivePortrait图生视频大模型,并且生成我们自己的视频。本文将包括以下几部分:

  1. 基础环境准备:与我们之前部署 LLM 大模型不同,LivePortrait涉及到音频和视频等多媒体数据的处理,因此环境要稍微复杂一点
  2. LivePortrait 配置:包括大模型权重文件下载、配置等
  3. LivePortrait 使用:包括通过图片生成视频、Web 界面可视化生成视频等(建议配合 GPU 进行使用,老牛同学纯 CPU推理速度较慢)

LivePortrait 理论研究,可以参见论文:https://arxiv.org/pdf/2407.03168

LivePortrait 基础环境准备

基础环境准备分为以下 3 步:克隆 GitHub 示例源代码、安装 Python 依赖包和下载配置FFmpeg音视频工具库

【第一步:下载 GitHub 示例源码】

GitHub 示例源码下载目录:LivePortrait

git clone https://github.com/KwaiVGI/LivePortrait

特别注意: 示例代码克隆成功之后,我们可以看到示例源码目录LivePortrait下,有个pretrained_weights空目录,它就是用来存放预训练权重文件的目录,接下来的我们会下载权重文件!

【第二步:安装 Python 依赖包】

切换到 GitHub 示例源码目录:cd LivePortrait

# 激活环境:特别注意Python版本为3.9.18,其他版本可能不支持(老牛同学3.12就不支持)
conda create -n LivePortrait python==3.9.18
conda activate LivePortrait

# 安装依赖包
pip install 
### 视频的大规模模型 #### 主流模型概述 当前,在视频领域,扩散模型成为主流技术之一。这类模型通过迭代去噪过程从噪声中逐步构建出完整的视频内容[^3]。 #### AI框架与开源项目 1. **DALLE-2** DALLE-2 是由 OpenAI 开发的一个强大的多模态成模型,不仅擅长于静态片的成,还支持基于给定的一系列帧创建连贯的动画或短视频片段。尽管官方并未完全开放源码,社区内存在多个仿制版本可供探索实验。 2. **Make-A-Video** Make-A-Video 是 Meta 发布的一款专注于将单张或多张静止像转换成动态影像的产品级解决方案。该工具利用先进的神经网络结构实现了高质量的视频合成,并且已经部分开源,允许开发者在其基础上进一步开发应用。 3. **Phenaki** Phenaki 作为另一个值得关注的研究成果,它能够在仅提供少量指导性提示的情况下成逼真的连续动作场景。此项目的独特之处在于其对于复杂时空关系的有效建模以及较低的数据需求特性,使得即使是在资源有限环境下也能高效运行。 4. **Text-to-video diffusion models (TVDiff)** TVDiff 提供了一种全新的视角来看待文本到视频的任务转化流程。不同于传统方法侧重于先成中间表示再映射至目标域的方式,TVDiff 将整个过程视为一个端到端的学习问题,从而简化了设计思路并提高了最终产出的质量。 ```python import torch from diffusers import DiffusionPipeline pipeline = DiffusionPipeline.from_pretrained('model_name') video_frames = pipeline(prompt="描述文字").frames ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值