字节跳动AI技术突破！“PersonaTalk”让视频声音与画面完美同步

近期，字节跳动的技术成果PersonaTalk成功入选了SIGGRAPH Asia 2024-Conference Track，为视频编辑领域带来了新的突破。这项方案不受原视频质量影响，保障生成视频质量，兼顾zero-shot技术的便捷和稳定，让语音修改视频中人物的口型变得非常便捷高效，实现高质量视频编辑，快速实现数字人视频制作和口播内容的二次创作。

PersonaTalk的核心能力包括：

• 声音同步嘴型：PersonaTalk能够确保在给视频添加新声音时，人物的嘴部动作与新语音的口型完全匹配。这意味着，无论视频中的人物是说话、微笑还是做出其他面部表情，他们的嘴唇动作都能与新的语音完美同步，就像他们真的在说出那些话一样。

• 保留人物特点：在创建新视频内容时，PersonaTalk会尽量保留视频中人物的原有特点，包括他们的说话方式、脸型和表情等。这种保留个性特征的能力，使得使用PersonaTalk技术生成的视频能够保持高度的真实感和自然感，避免出现僵硬或不协调的情况。

• 适用于不同人物：与传统的配音技术不同，PersonaTalk不需要大量的数据来单独训练每一个特定的人物。这使得该技术能够适应不同的人物和多样化的场景，为视频制作提供了更大的灵活性和便利性。

PersonaTalk是一个基于注意力机制的两阶段框架，包括几何结构和人脸渲染两部分。在第一阶段，利用混合几何估计方法从参考视频中提取说话者的面部几何系数。随后，从目标音频中提取和编码音频特征，并学习个性化说话风格的几何统计