数字人解决方案——LivePortrait实现表情姿态极速迁移

1. 概述

LivePortrait是由快手科技、中国科学技术大学和复旦大学联合开发的项目。它的核心功能是将驱动视频的表情和姿态迁移到静态或动态人像视频上，生成极具表现力的视频结果。这项技术不仅在技术上取得了突破，更在用户体验上带来了革命性的改变。
如下动图所示：

• 代码地址：https://github.com/KwaiVGI/LivePortrait
• 论文链接：https://arxiv.org/abs/2407.03168
• 项目主页：https://liveportrait.github.io/
• HuggingFace Space一键在线体验：https://huggingface.co/spaces/KwaiVGI/LivePortrait

2. 算法框架

LivePortrait采用了一种创新的方法，突破了传统基于隐式关键点框架的局限，实现了计算效率与可控性的完美平衡。它专注于提升模型的泛化性、可控性和实用性，致力于为用户提供更高效、更灵活的面部生成体验。

LivePortrait的核心优势在于其精心设计的训练策略。通过使用6900万帧的高质量训练数据，结合视频和图片的混合训练方法，LivePortrait能够更准确地捕捉和模拟面部动作。此外，通过升级网络结构和优化动作建模，LivePortrait进一步提升了生成图像的自然度和真实感。

LivePortrait的另一大创新是其隐式关键点的运用。它将这些关键点视为面部混合变形（Blendshape）的有效隐式表示，