光学定位与追踪技术_【技术抢先看】惯捕？光捕？光混？

随着动捕技术的使用日常，近期公众号会收集一些动捕相关的知识，如有不错的知识点分享也欢迎联系小编

---

王少笛授权转载

2010年，Iphone4首次采用了ST公司的三轴陀螺仪和三轴加速度计作为手机的惯性传感器，这或许是Mems IMU第一次势不可挡地冲进了每个人的日常生活中。

惯性技术的轻量化让许多硬件设备都焕发了新生，动作捕捉就是其中一个。之后的十年，纯惯性动捕和光学动捕开始在影视制作、体育分析、医疗康复等各个领域的市场份上进行了激烈地竞争。

今天笔者给大家全面分析一下，传统的基于摄像机的纯光学动作捕捉系统，与基于Mems传感器的纯惯性动作捕捉系统，还有最新的光惯混合系统的区别。

一、光学捕捉：

基于摄像机的捕捉系统，是人体动作捕捉曾经的行业标准。标准系统由一组摄像机与数据处理服务器(通常称为HUB)组成，相机发出红外光，在场景中特殊材质做成Maker球上发生反射，从而捕获到场景中Maker点的绝对位置信息。

而现在，为了避免场景中其他反光体对捕捉造成的影响，许多公司也会采用主动式的发光体。也就是将Maker点换成主动发出红外光的设备，这样的话：

(1)不会受到场地中反光体影响

(2)光球在不同频率下发出红外光可以被相机捕捉到，从而区分每个主动发光体的编号，增加识别度和精度(理论上，目前还大幅受限于硬件等因素)

安装

传统的光学相机对光线非常敏感，容易受到各种各样的影响，现在部分厂商已经推出了室外光学相机。由于相机需要覆盖在多个位置，以对捕捉场景内人体上的标记点进行不同方向的追踪，因此整个安装和场地标定过程繁琐，施工要求很高，全程都需要专业人员进行指导。在一些结构不够稳定的场地，还可能因为相机抖动影响捕捉效果。

精度

国内数量最多的光学系统大多是学校的实验室，占地面积30平米左右。光学系统的位置追踪精度取决于安装摄像头的硬件参数，以及摄像头镜头可捕捉面积大小。

目前主流的捕捉方案基本都能达到毫米级误差精度。人体姿态的还原则更多需要依赖算法，一般可以到达0.2度的精度。虽然光学系统追踪的是Maker点的绝对位置，但是Maker点因为各种原因导致的位移和碰撞会干扰捕捉结果。

帧率

光学像机的光学追踪系统能够达到2000帧左右的相机帧数率，通过高帧率的捕捉可以很好的对标记点进行追踪，解决光点解算的问题，使得捕捉的精度更高，但是经过数据的算法降噪，除去冗余数据，目前最终的有效捕捉数据帧率大多在200左右，最高在400左右。

动力学参数

人体分析用途的捕捉主要目的通常是关节的加速度和速度数据。而光学相机虽然对Maker点的采集实时度和精度都不低，但是姿态的算法还原是通过多次求导计算获得。如果摄像机获得的位置数据噪声较大，则计算过程中也会放大误差数据，导致获得的加速度、速度测量出现的误差有较大地偏差。

遮挡

所有基于光学的系统，不论是激光、红外或者计算机视觉等，最大的问题都来源于遮挡问题。

由于Maker点的捕捉存在死角，例如双人，或者场地中需要增加实物捕捉导致光点追踪丢失。一旦摄像机丢失Maker点位置，就会出现严重地姿态漂移扭曲等现象，即使现在的算法都能对数据进行修补和根据之前数据做预测和模拟来补足，但是依然是肉眼可见的错误。

另外就像我们在上面介绍中说的，摄像机捕捉到的每一个标记点都是一模一样的点，并不能通过编号进行区分。大部分光学系统依赖刚体(Rigid)，也就是将四个或者更多标记点形成一个整体，通过对场地中光点的组合与编号，来定位一个更大的物体。

但是在点数较多的情况下，依然会造成Maker点的不匹配，也就是错位(两个物体过于靠近时物体A的点a识别成物体B的点b)。用这种方式来区别不同的标记点非常受限，在很短的时间内，捕捉系统就会混淆的不同的Maker点，如果标记点产生严重错误，就必须手动在管理软件重新进行调整，耗费相当的成本，以及需要一定的使用经验。

校准

光学系统动作捕捉需要两套标定系统，第一是对相机和场地进行标定，也就是我们所说的：扫场。另一个则是对人体姿态进行标定，通常只要在场地中移除其他Maker点，做对应的Pose就可以完成。

二、惯性动作捕捉：

很多读者从知乎联系到我咨询动捕相关的问题时，喜欢拿光学和惯性某个参数直接进行比较，但是笔者认为，这两种技术本身的实现原理和使用环境都存在一定的区别，虽然某些领域有一定交集，但是还是需要从整体上来分析两种技术的使用场景。

惯性动作捕捉系统是通过惯性传感器来捕捉人的关键骨骼旋转信息，你没看错，惯性传感器的加速度计精度不足以捕捉空间位移信息，所以加速度计采集的数据是不会直接拿来做位移计算的。每个惯性传感器可以直接测量XYZ轴的转动量以及加速度，这和光学的点云数据进行姿态重建不同，惯性设备的单个传感器就是一个“刚体”，而且是不会识别错误的那种。

每个惯性传感器测量单元包含陀螺仪、加速度计、磁传感器以及其他数字信号处理和转化装置，加速度测量重力向量获得roll、pitch参考量，磁传感器通过地磁测量获得yaw的参考方向(这也是为啥强磁的物体影响惯性捕捉设备)，通过采用陀螺仪传感器对运动进行测量，最后这些采集的数据同样是通过算法去还原成人体姿态的，因此惯性和光学都会存在一样的问题，那就是算法导致的误差。

系统安装便捷性

惯性设备的安装和校准会比光学设备简单不少，只要一个手提箱+一台笔记本就是一个完整系统。目前市面的惯性设备都是绑带式(类似背背佳那种绑带+魔术贴)或者紧身服式。不需要特殊的场地，随时随地就可以安装捕捉，开机仅10分钟内就可以完成安装与设备校准，非常方便。输出的动作在软件直接进行可视化还原，也可以导入第三方软件中同步，进行二次开发等。

精度

惯性设备是无法直接通过数据来还原人体姿态的，它还需要一个“模型”，也就是我们的人体骨骼模板。他的运动可以绑定在任何我们设置好的骨骼模板上进行还原。而惯性传感器(IMU)的测量精度取决于受到地磁场受干扰，这也是目前惯性设备较大的缺陷，但是现在很多厂商的抗干扰算法做的都算不错，如果是短时间内，还是可以处理干扰问题的。一般的纯惯捕应用中测量精度<1°，光学存在的Maker点位移导致偏差在惯性中也同样存在，但是由于惯性传感器采用绑带绑定在人体上，因此只要处理得当，可以最大程度地减少误差。

采样率

顶级的惯性设备采集频率应该在800-1000左右，看上去这个数值远远小于光学。但是其测量的加速度和角速度是直接量，不需要通过计算，因此不存在计算产生的误差。因此惯性获得的100Hz更新率数据价值要远远高于摄像机获得的100Hz，惯性设备需要对后期数据处理的量要远远小于光学设备，这也是惯性人体捕捉的一大优势：不需要相机和各种线缆，就能通过无线射频达到相近的时延。

动力学参数

惯性动作捕捉系统可以直接获得加速度与角速度量，非常适合计算生物力学量，是当前主流的体育分析和人机工效分析使用的技术方案。

标记遮挡和不匹配

惯性设备的数据大多都是通过有线(USB/POE)或者无线射频(WIFI/蓝牙/自有协议等)与计算机进行传输的，因此惯性捕捉系统不存在环境光干扰或者遮挡问题，另外由于惯性捕捉单个传感器内有物理地址和编码等，所以可以对每个传感器进行编号，使其具有唯一性。但是，由于当前我们的日常生活中有大量带磁设备以及带磁环境，因此惯性设备使用的时候无法忽视这些设备产生的影响。

校准

惯性系统的校准是一个非常简单的过程，目前大多数惯性设备只需要短时间内的动作标定就可以完成校准，标定的时间不到10秒。

三、光惯混合捕捉：

由于光学惯性各有掣肘，但是它们的技术特点都可以弥补另一方的缺陷。因此不少公司会将惯性和光学和惯性打包到一起，作为新的动作捕捉方案。这样不但弥补了光学场地丢失Maker点追踪的问题，同样弥补了惯性在算法还原姿态时空间位置关系误差累计的问题。

系统安装便捷性

由于想要同时具备两个系统的使用优势，因此自然整个前期的施工和布置流程会相对繁琐。使用上的话，光混设备的搭建和纯光搭建的时间接近，光学原本的贴点换成了穿戴惯性设备，整体时间相差不多。

精度

精度上有一个重要的点需要明白，并不是提高了采集的精度，而是提高了姿态的精度。基于惯性算法的主要问题在于惯性技术的算法误差累计，而基于光学的姿态还原问题在于算法计算过多导致的误差放大，而光混解决了惯性捕捉的误差累计问题，得到了绝对位置信息；同时光学也不会因为丢失Maker点的位置而瞬间产生漂移；并且由于采用惯性为主的采集方式，数据运算理论上效率更高。

采样率

理论上，由于木板效应，光学相机的采样频率可以做一定的降频，但是虽然获取的数据量变少了，同样帧率输出数据的质量却变高了。同时这种情况下，可以一定程度减小计算机和相机的负载，当然这是比较理想的状况。

动力学参数

毫无疑问，加了绝对位置的光惯混捕捉技术，在体育训练、医疗康复等领域的运用上可以符合更多纯光或者纯惯做不到的应用场景。

标记遮挡和不匹配

当光点被遮挡的时候，可以自动切换完惯性动作捕捉。而当检测到光学环境的时候，可以矫正惯性捕捉带来的空间位置偏移，并且由于惯性传感器可以有ID识别的功能，因此也可以通过算法来进一步减少Maker点识别错误的情况，最不济也能做到主动纠偏，而不需要人工干预。

综合上面的分析，可以得出结论：

当然，动作捕捉设备的选择，还是要根据自己的实际需求，只有适合项目和研究方向需求的工具，才是最好的。

点击阅读了解作者更多内容