AIGC前沿 | LivePortrait

0. 资源链接

• 论文超链接: LivePortrait

• 项目: https://github.com/KwaiVGI/LivePortrait

1. 背景动机

现有AIGC存在的问题

1. 随着智能手机和其他录制设备的普及，人们越来越频繁地捕捉静态肖像来记录珍贵而美好的时刻，但这些静态图像缺乏动态表现力和实时互动性。

2. 尽管基于生成对抗网络（GANs）和扩散模型等先进技术的肖像动画方法已经能够将静态肖像转化为动态视频，但这些方法在计算效率和对细节（如眼睛和嘴唇动作）的精确控制方面仍存在局限。

为了解决这些问题，并满足实时应用场景的需求

1. 本论文研究者们探索了一种新的视频驱动肖像动画框架LivePortrait，旨在实现更高效的计算性能和更精细的动画控制能力。

2. 内容提要

1. 研究背景与目标： 论文提出了LivePortrait，这是一个高效的视频驱动肖像动画框架，旨在从单张静态源图像中生成逼真且具有表现力的视频。与依赖于特定录制设备的iPhone Live Photos功能不同，LivePortrait利用深度学习技术，特别是基于隐式关键点的方法，以实现无需额外录制设备的高质量动画效果。研究的主要目标是在保持高推理效率和精确控制的同时，提高动画的现实感和表现力。

2. 方法论与创新点： 该框架通过扩展训练数据集至约6900万高质量帧，采用混合图像-视频训练策略，并升级网络架构来增强模型的泛化能力和表达性。LivePortrait的一个关键创新是设计了紧凑的隐式关键点来有效表示一种隐式混合形状，并通过小型多层感知器（MLP）网络实现对眼睛和嘴唇动作的精细控制，这些控制模块的计算开销可以忽略不计。此外，该框架还包括一个拼接模块，用于无缝地将动画合成回原始图像空间，处理更大的图像尺寸和多人图像。

3. 实验结果与应用前景： 实验结果表明，LivePortrait在生成速度和质量上均优于现有的基于扩散的方法。该模型在RTX 4090 GPU上的推理速度达到12.8毫秒，能够实时生成高质量的肖像动画。论文还探讨了LivePortrait在视频会议、社交媒体和娱乐等不同场景下的应用潜力，展示了其在音频驱动的肖像动画和动物动画中的泛化能力。此外，论文讨论了技术的社会风险，包括深度伪造（deepfakes）的潜在滥用，并强调了制定伦理指南和负责任使用实践的重要性。

   </