StyleSync: High-Fidelity Generalized and Personalized Lip Sync in Style-based Generator

Abstract:
尽管最近在将嘴唇运动与任何音频波同步方面取得了进展，但目前的方法仍然难以平衡生成质量和模型的泛化能力。以前的研究要么需要长期的数据进行训练，要么在所有受试者身上产生类似的运动模式，但质量较低。在本文中，我们提出了StyleSync，这是一个实现高保真嘴唇同步的有效框架。我们在这篇论文中提出了一种名为StyleSync的框架，它可以实现高保真度的唇部同步。该框架使用基于样式的生成器，可以在一次数据输入和少量数据的情况下实现高质量的唇部同步。具体来说，我们设计了一个掩码空间信息编码模块。