虚拟直播与光学动作捕捉技术

虚拟直播将虚拟场景、虚拟形象实时显示在观众面前，虚拟场景与人物替代了原有的耗费较大搭建成本的实景场景与真人出镜，为观众带来全新的视觉体验，同时新技术降低了原有场景搭建成本，是近些年继AI、VR、动作捕捉等技术出现后新兴的一项集成技术，继疫情出现后这项技术迎来了高速发展。

在虚拟直播的实现过程中，需要将真人动作与表情以虚拟形象实时显示，这其中用到了动作捕捉技术，那么这项技术是如何应用到虚拟直播中的呢。
NOKOV度量动作捕捉实现了与虚拟直播工具的高度集成，通过在主播身上贴反光标记点，利用光学动作捕捉系统获取空间中的反光标记点坐标，获取到的多个点信息用于确定刚体骨骼的位姿数据，从而对主播进行模型建立与识别，其位姿数据导入第三方软件中，与模型绑定，就能实现影视、游戏、虚拟直播中的效果。

本文将分为三个步骤，从具体操作流程这一角度介绍动作捕捉应用于虚拟直播的实现过程。

Marker点布置

Marker点又称为反光标记点，是一种布置在被捕捉物上的反光球体，能够反射动作捕捉镜头发射的红外光，进而获取其三维坐标信息。

Marker点的布置过程中，需要注意以下几点：①Marker点大小，一般场地的人体动作捕捉推荐12-15mm的Marker；②Marker点固定方式，；固定的时候要确保其牢牢附着在人体表面，穿动捕服时可合理使用魔术贴进行固定；③Marker点布置位置，进行虚拟直播系统建立时，一般会由专业人士提供标准的布置模板。

如果自己设计的话，有以下几个注意事项：1）要确保贴的点在骨骼外侧，易被识别；2）在骨性标志点、关节处贴点；3）要用多个点去确定一个刚体。

建立骨骼系统

在得到模特身上的点云数据后，经过软件处理就能建立模特的骨骼系统。这时，在软件中可以实时得到模特身上的点，点组成的线，以及点确定的刚体，这样一组反光标记点形成的特定信息模板，称作Markerset。

光学动作捕捉系统直接获取的信息只有各个Marker点的精确坐标，所以创建骨骼时要确保各段骨骼长度与对应点之间长度一致，位置也要很好地对应上，这样点才能准确地驱动骨骼运动。将Markerset中的骨骼数据导入其它软件中，就能驱动各类模型运动。

连接虚拟直播软件

在虚拟直播软件中有不同的模型可供选择。选中合适的模型后，虚拟人物就可以开始跟随主播做动作。连接手机或者电脑摄像头，软件能够实时获得主播的面部表情；戴上数据手套，可捕捉手指的精细动作，从而实现与观众的互动。