超越AnimateAnyone！Meta提出全身 3D虚拟人技术ExAvatar，可通过简短视频克隆人像并转化为3D数字形象

ExAvatar是由DGIST和Meta公司的Codec Avatars Lab联合研发的一项技术，能够通过捕捉视频中的动作和表情，转化为栩栩如生的3D数字形象。这项技术解决了以往技术中的难题，提高了动画的自然度和渲染效果。

什么是 ExAvatar？

• ExAvatar 是全新富有表现力的全身 3D 高斯化身。

• 结合了SMPL-X的全身（身体、手和脸）驾驶能力和3DGS的强大外观建模能力。

• 通过随意拍摄的短手机扫描中性姿势约10秒制作而成。

• 支持具有新颖的身体姿势、手势和面部表情的动画以及从任何视点的渲染。

相关链接

项目地址：mks0601.github.io/ExAvatar/

论文地址：arxiv.org/abs/2407.21686

论文阅读

ExAvatar：富有表现力的全身 3D 高斯虚拟人

摘要

面部表情和手势对于表达我们的情感和与世界互动是必不可少的。尽管如此，从随意拍摄的视频中建模的大多数 3D 虚拟人仅支持没有面部表情的身体动作。

因此，为了实现这一目标，我们提出了 ExAvatar，这是一个从短单目视频中学习到的富有表现力的全身 3D 虚拟人。我们将 ExAvatar 设计为全身参数网格模型 (SMPL-X) 和 3D 高斯溅射 (3DGS) 的组合。

主要挑战是

<