Twinsync是一项来自硅谷的技术项目,旨在通过使用神经网络和渲染技术,实现逼真的人物视频合成。该项目的一个主要目标是解决语音合成中的唇形同步问题,即如何根据声音生成与说话者口型相匹配的逼真图像。
为了实现这个目标,Twinsync提出了一种基于视频的唇形同步算法,该算法利用了神经辐射场(Neural Radiance Fields,简称NerF)和网格变形(Deform)等最新技术,从单一图像中预测出演讲者的面部形状和纹理,并将其应用于源视频上,以实现唇形同步。
技术细节:
算法包括两个阶段:首先,从目标演讲者的单张图像中预测出面部形状和纹理。这里借鉴了NerF框架,该框架是一种神经渲染技术,能够将场景建模为连续5D函数。通过在图像和深度图数据集上训练网络,可以准确地预测出演讲者面部的形状和纹理信息。
其次,通过网格变形技术Deform,将预测的面部形状应用于源视频中,以实现唇形同步。具体地,算法会在目标演讲者的模型上进行网格变形和融合,以适应音频中所需的口型。随后,将变形后的模型重新投影到源视频帧上,生成符合要求的唇形动画效果。