TPAMI 2024 | 基于视频创建逼真化身的可动画隐式神经表示

题目：Animatable Implicit Neural Representations for Creating Realistic Avatars From Videos

基于视频创建逼真化身的可动画隐式神经表示

作者： X. Zhou; S. Peng; Z. Xu; J. Dong; Q. Wang; S. Zhang; Q. Shuai; H. Bao

---

摘要

本文解决了从多视角视频中重建可动画人类模型的挑战。最近的一些研究提出将非刚性变形场景分解为规范神经辐射场和一组变形场，这些变形场将观测空间点映射到规范空间，从而使它们能够从图像中学习动态场景。然而，他们将变形场表示为平移矢量场或SE(3)场，这使得优化高度欠约束。此外，这些表示不能通过输入运动显式控制。相反，我们引入混合权重场来生成变形场。基于骨架驱动的变形，混合权重场与3D人类骨架结合以生成观测到规范和规范到观测的对应关系。由于3D人类骨架更易于观测，它们可以对变形场的学习进行正则化。此外，混合权重场可以与输入的骨骼运动结合生成新的变形场以动画化人类模型。为了提高人类建模的质量，我们进一步将人类几何表示为规范空间中的符号距离场。此外，引入了神经点位移场以增强混合权重场在建模详细人类运动方面的能力。实验表明，我们的方法显著优于最近的人类建模方法。

关键词

• 人类建模
• 隐式神经表示
• 视图合成

I. 引言

渲染可动画人类角色在自由视点视频