北京大学刘利斌：「元宇宙」支撑技术大揭秘——角色动画生成

【栏目：前沿进展】说到 2021 年与计算机相关的最火的概念，一定少不了「元宇宙」。元宇宙是一个庞大的工程，而计算机图形学则是对元宇宙起到支撑作用的一系列关键技术。借着「元宇宙」的东风，计算机图形学有望焕发「第N春」。

计算机图形学包含几何建模、渲染、计算机动画等研究方向。与其它方向相比，计算机动画的特点在于其研究主要面向场景中能够运动的物体。刘利斌博士主要的研究方向为「角色动画」，即场景中所有能够主动运动的物体（例如，人、动物）。

2021 年 9 月 30 日，北京大学前沿计算研究中心助理教授、智源新星刘利斌在青源 Talk 第 6 期上发表了题为「角色动画生成」的演讲。本文整理自报告，视频回放链接：https://hub.baai.ac.cn/live/?room_id=167

---

刘利斌，2009于清华大学获得数理基础科学专业学士学位，2014年在清华大学获得计算机科学与技术专业博士学位。加入中心之前，刘利斌博士曾于加拿大不列颠哥伦比亚大学（The University of British Columbia）及美国迪士尼研究院（Disney Research）进行博士后研究，后加入美国硅谷创业公司DeepMotion Inc.担任首席科学家。刘利斌博士的主要方向是计算机图形学、物理仿真、运动控制以及相关的优化控制、机器学习、增强学习等领域。截止2021年9月，刘利斌博士在计算机图形学领域顶级国际会议及期刊上发表论文十余篇，引用近700次，并曾多次担任图形学主要国际会议如SIGGRAPH、PacificGraphics、Eurographics等的论文程序委员。

---

报告人：刘利斌

整理：熊宇轩

编辑：李梦佳

在传统角色动画的生成过程中，我们首先需要通过机器学习、计算机视觉、图形学方法对角色进行建模。

图 1：角色动画生成流程

接着，我们需要进一步进行计算机动画的处理，将角色模型绑定到骨骼模型之上。这样一来，我们就可以通过改变骨骼的姿态来改变人、动物等角色的姿态。为了将该模型展示出来，我们需要进行相机控制。最后，我们通过渲染在场景中生成动作。上述过程往往需要耗费大量的时间和人工劳动成本。因此，研究人员试图通过人工智能技术加速角色动画的生成过程。

绑定

图 2：绑定过程中的挑战

以绑定过程为例，动画师需要手工地通过专业软件为皮肤刷上权重，保证骨骼在运动时产生自然的外观形变。为了提升上述过程的效率，我们试图通过算法实现自动绑定。在得到角色模型后，我们需要通过算法提取出复合实际情况的骨骼框架，并计算出蒙皮的权重，从而将皮肤绑定到骨骼上。

图 3：automatic rigging & skinning

早在 2007 年，Baran 等人基于几何操作提出了 Pinocchio 算法来实现自动绑定。2020 年，Xu 等人在 SIGGRAPH 大会上提出了著名的 RigNet，通过神经网络完成几何操作，实现更加鲁棒、漂亮的骨骼提取和绑定，同时也允许用户在一定程度上干预绑定过程（例如，调整骨骼密度、关节位置）。

不过由于该方法不支持用户自定义的骨骼结构，在实际应用中经常需要解决诸如动作重定向等问题，在一些任务场景中需要往往额外的工作才能保证动作的质量。