本文介绍了Face2Face技术，这是一种实现实时面部表情捕获和重演的新方法，能够将源视频的面部表情实时传输到目标视频中。通过全局非刚性模型的捆绑方法恢复目标角色特征，使用光度一致性度量进行面部表情跟踪，并提出了一种高效的变形传递函数。此外，还创新性地解决了口腔合成问题，确保目标人物的嘴形逼真。这种方法在视频会议、虚拟现实等领域有广泛应用前景。
Face2Face：RGB视频的实时人脸捕获和重现
源论文标题：Face2Face: Real-time Face Capture and Reenactment of RGB Videos
源论文地址：http://www.graphics.stanford.edu/~niessner/papers/2016/1facetoface/thies2016face.pdf
[摘要]
我们提出了一种用于单目标视频序列（例如，Youtube视频）的实时面部重建的新颖方法。源序列也是单目视频流，用摄像头捕获。我们的目标是通过源角色为目标视频的面部表情动画化，并以逼真的方式重新渲染被操纵的输出视频。为此，我们首先通过“非刚性模型的捆绑”的方法，来解决视频中面部特征恢复的受限制问题。在软件运行时，我们使用密集的光度一致性度量（Dense Photometric Consistency measure）来跟踪源视频和目标视频的面部表情，然后通过源和目标之间的快速有效的形变传递实现表情复制。从目标视频中检索到最适合重塑的口腔位置，并弯曲它以产生准确的拟合。最后，我们成功地将合成的目标面部图像重新渲染在相应的视频流之上，使其无缝融合。我们在现场演示我们的方法，其中Youtube视频会实时重播。
1、介绍
近年来，基于传感器的实时无标记面部表情捕获，已经取得了令人印象深刻的成果。无论是基于RGB [8,6]还是RGB-D数据[31，10，21，4，16]。 这些技术在视频游戏和电影中的虚拟CG头像变得越来越流行。现在可以在家里，通过许多VR设备和AR应用程序，运行这些面部捕获和跟踪算法。
在本文中
最低0.47元/天 解锁文章
4728
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
