Playmate：通过3D隐式空间引导扩散实现肖像动画的灵活控制

最近的基于扩散的说话人脸生成模型在合成与给定参考身份相匹配的准确语音音频片段的视频方面展现了令人印象深刻的潜力。然而，现有方法由于诸如不准确的唇形同步、不恰当的头姿以及缺乏对面部表情的细粒度控制等不可控因素，仍然面临重大挑战。为了引入更多以脸部为导向的条件，超越仅使用语音音频片段，提出了一种新颖的两阶段训练框架Playmate，用于生成更加栩栩如生的面部表情和说话人脸。在第一阶段，我们引入了分离的隐式三维表示以及一个精心设计的运动分离模块，以促进更准确的属性解耦，并直接从音频线索生成富有表现力的说话视频。然后，在第二阶段，我们引入了一个情绪控制模块，将情绪控制信息编码到潜在空间中，实现对情绪的细粒度控制，从而具备生成具有期望情绪的说唱视频的能力。广泛的实验表明，Playmate在视频质量和口型同步方面优于现有的最先进方法，并在控制情绪和头部姿势的灵活性上有所提升。

论文题目：Playmate: Flexible Control of Portrait Animation via 3D-Implicit Space Guided Diffusion
论文链接：https://arxiv.org/pdf/2502.07203

awesome-talking-head 是我创建的一个数