[论文阅读]基于三维姿态估计的虚拟角色运动控制方法

[论文阅读]基于三维姿态估计的虚拟角色运动控制方法

源地址

本文刊发于《现代电影技术》2023年第1期
微刊链接: 基于三维姿态估计的虚拟角色运动控制方法 - 杜昊昊 韩菲琳

论文介绍

虚拟角色动作制作的需求下沉，但制作困难。

若采用动作捕捉方案，耗费人力物力；若由动画师制作，则需较长工期；若采用程序化动作生成，其生成结果往往不够真实自然。

因此本文提出基于三维姿态估计的虚拟角色运动控制方案（提出工具链，进行实验验证），不依赖于价格高昂的动作捕捉设备，操作便捷、成本低廉，能够有效服务于虚拟预演等应用场景。

该方法仍有一定的局限性。

相关工作

虚拟人建模方式

• 基于三维软件的创作型建模；基于三维扫描设备的捕获型建模；基于二维图像的拟合型建模；基于数据库及数字人编辑器的参数化建模（本文采用此种）

• 基于数据库及数字人编辑器的参数化建模工具：
  MetaHuman Creator、Character Creator 3、Daz 3D

• MetaHuman Creator：
  数据库中以DNA数据格式存储角色信息，将用户的捏脸交互操作转换为在GenePool数据库中进行检索与混合。采用像素流送(Pixel Streaming)技术在云端服务器上运行UE应用程序，通过WebRTC将渲染的帧和音频流送到浏览器和移动设备，在云端UE中制作的数字人也能够导出到本地UE中使用

虚拟角色动捕方法

• 基于外设捕获运动数据的方式
  光学式；视觉传感器；惯性传感器

• 基于内在生理视觉数据的时序性识别方案

• 基于计算机视觉的动作捕捉方法
  图像来源不同：基于深度图像的方法、基于红外图像的方法、基于RGB彩色图像的方法以及基于多模态数据融合的方法
  图像采集方式不同：基于单目视觉、基于双目视觉和基于多视图融合

本文采用DeepMotion方法由二维计算机视频获取BVH/FBX格式的三维动作数据。

方法

1. 二维动作视频筛选

2. DeepMotion三维动作数据提取

3. MetaHuman Creator虚拟角色制作
   头部网格体借助Polycam照片采集方法，获得真实人物的头部模型；将得到的网格体使用Blender进行预处理，合并或去除多余的网格体；将网格体导入UE5，进行Mesh转MetaHuman，指定材质纹理

4. UE5虚拟角色驱动
   由IK绑定（IK Rig）和IK重定向器（IK RTG）来实现

局限

手腕、脚踝等局部动作识别效果较差，容易出现变形；

衣料、镜头角度等外部干扰影响识别效果；

运动过程中若存在肢体交叉，容易出现前后关系的误判，人体旋转时也会偶有漂移和抖动，若将视频源帧率降低会得到更准确的识别结果