基于IMU传感器+SMPL模板三维人体姿态捕捉方法SIP

本文对基于IMU传感器+SMPL模板三维人体姿态捕捉方法SIP[1]做一个介绍。由于采用的是传统优化方法同时优化所有帧，此方法无法实时为离线方法。如有错误，欢迎评论指正。

---

一.算法步骤

1.准备工作

传感器

如图1所示，采用6个IMU传感器，放置于小腿，下臂，腰部和头部位置。（注：这里采用的应该都是九轴IMU，输出的原始数据有加速度、角速度和磁力值，经内部融合算法得到姿态数据。后续动捕算法中会用到姿态数据和加速度数据。）

形状估计

如果有三维激光扫描人体模型，则拟合SMPL到该模型；否则，则根据[5]中方法从用户的文字描述生成SMPL模型。因为关注的姿态，所以这里形状是预先估计的。

初始传感器位置和初始姿态

由于传感器绑在人体上位置固定，手动从SMPL上选定相应的顶点作为传感器位置；初始姿态由数据集提供，对于户外在线的录制则要求从直立的胳膊和腿的姿势开始。预先获取这两种数据是用于估计下述局部传感器到局部骨骼的变换矩阵 $G^{BS}$ 的。

2.坐标系

如图2所示（注：原图来自[1][4]，这里按自己理解进行了修改和统一）。请读者注意，后面公式中一些变量的上标表示了这里的坐标系：

• $F^S$ (local IMU-aligned sensor coordinate system)：局部传感器坐标系
• $F^I$ (global inertial coordinate system)：全局传感器坐标系
• $F^B$ (local bone coordinate system)：局部骨骼坐标系
• $F^G$ (global tracking coordinate system)：全局动作捕捉坐标系
• $G^{GB}：F^B->F^G$ (from bone to tracking coordinate system)：局部骨骼到全局动作的变换矩阵
• $G^{IS}:F^S->F^I$(from local IMU sensor to global inertial coordinate system)：局部传感器到全局传感器的变换矩阵
• $G^{GI}:F^I->F^G$(from global inertial to global tracking coordinate system)：全局传感器到全局动作的变换矩阵，已知
• $G^{GS}(t)=G^{GI}{G}^{IS}(t)$（from local IMU sensor to global tracking coordinate system)：局部传感器到全局动作的变换矩阵
• $G^{BS}=G^{BG}(0)G^{GS}(0)$(from local IMU sensor to bone)：局部传感器到局部骨骼的变换矩阵，恒定的，由第一帧计算

3.优化目标

这里采用了常见的思路，即同时优化多帧，从而消除累计误差，总的优化函数如下：
$\begin{array}{rl}{\mathbf{x}}_{1:T}^{\ast }=\underset{{\mathbf{x}}_{1:T}}{\mathrm{argmin}}{E}_{\mathrm{motion}}({\mathbf{x}}_{1:T},{\omega }_{1:T},{\mathbf{a}}_{1:T})=& w_{\mathrm{ori}}\cdot E_{ori}({\mathbf{x}}_{\mathrm{l}:T},{\mathbf{R}}_{\mathrm{l}:T})\\ & +w_{\mathrm{acc}}\cdot E_{\mathrm{acc}}({\mathbf{x}}_{1:T},{\mathbf{a}}_{1:T})\\ & +w_{\mathrm{anthro}}\cdot E_{\mathrm{anthro}}({\mathbf{x}}_{\mathrm{l}:T})\end{array}$

式中， $\mathrm{1...}T$为时间， $x_{1:T}\in R^{75T}$式SMPL模型的姿态参数(注：待求解参数)， $R_{1:T}$为传感器姿态， $a_{1:T}$为传感器加速度，目标函数由方向项 $E_{ori}$、加速度向 $E_{acc}$和人体测量项 $E_{anthro}$共同组成。

方向项

$E_{ori}=\frac{1}{TN}{\sum }_{t=1}^T{\sum }_{n=1}^N||{\mathbf{e}}_{ori,n}(t)|{|}^2$

${\hat{\mathbf{R}}}^{GS}({\mathbf{x}}_t)={\mathbf{R}}^{GB}({\mathbf{x}}_t){\mathbf{R}}^{BS}$

${\mathbf{e}}_{ori}({\mathbf{x}}_t)=\log {\left({\hat{\mathbf{R}}}^{GS}({\mathbf{x}}_t){\left({\mathbf{R}}^{GS}(t)\right)}^{-1}\right)}^{\vee }$
式中， $N$指传感器个数，衡量了估计的传感器姿态 ${\hat{\mathbf{R}}}^{GS}$（注：由当前估计smpl姿态）和传感器测量姿态 ${\mathbf{R}}^{GS}$之间的误差。

加速度项

$E_{\mathrm{acc}}=\frac{1}{TN}{\sum }_{t=1}^T{\sum }_{n=1}^N||{\mathbf{e}}_{\mathrm{acc},n}(t)|{|}^2$

${\mathbf{a}}_t^G={\mathbf{R}}_t^{GS}{\mathbf{a}}_t^S-{\mathbf{g}}^G$

${\hat{\mathbf{a}}}_t^G=\frac{{\mathbf{p}}_{t-1}^G-2{\mathbf{p}}_t^G+{\mathbf{p}}_{t+1}^G}{d{t}^2}$

${\bar{\mathbf{p}}}^G(\mathbf{x})={\mathbf{G}}^{GB}(\mathbf{x}){\bar{\mathbf{p}}}^B(0)$
${\mathbf{e}}_{\mathtt{acc}}(t)={\hat{\mathbf{a}}}^G({\mathbf{x}}_{t-1},{\mathbf{x}}_t,{\mathbf{x}}_{t+1})-{\mathbf{a}}_t^G$

式中， ${\mathbf{a}}_t^G$为全局跟踪坐标系下的传感器测量加速度， ${\hat{\mathbf{a}}}_t^G$为由当前估计姿态计算得到的加速度（注：需要事先确定6个IMU传感器绑定位置在smpl模型上的对应点，只需做一次，然后利用前后帧 $t\pm 1$计算）， $p^G$为全局跟踪坐标系下的SMPL顶点位置，衡量了估计加速度和传感器测量加速度之间的误差。

人体测量项

$E_{\text{anthro}}=w_{\text{mahal}}\frac{1}{T}{\sum }_{t=1}^T{d}_{\text{mahal}}{(t)}^2+w_{\text{limit}}\frac{1}{T}{\sum }_{t=1}^T||{\mathbf{e}}_{\mathrm{limit}}(t)|{|}^2$
$d_{\mathrm{mahal}}=\sqrt{{\left(\mathbf{x}-{\mu }_{\mathbf{x}}\right)}^T{\Sigma }_{\mathbf{x}}^{-1}\left(\mathbf{x}-{\mu }_{\mathbf{x}}\right)}$
${\mathbf{e}}_{\mathbf{limit}}=\min (\mathbf{x}-{\mathbf{l}}_{\mathbf{lower}},0)+\max (\mathbf{x}-{\mathbf{l}}_{\mathbf{upper}},0)$
式中， $d_{\mathrm{mahal}}$约束估计姿态符合从大量姿态数据集中拟合的多变量高斯分布，（${\mathbf{e}}_{\mathbf{limit}}$约束部分关节点姿态的极限值（注：都属于基于图像估计SMPL模型时常见的优化项）。

4.求解

非线性最小二乘问题，采用LM算法进行求解。核心就在于手推以上三项的Jacobi矩阵，从而用于迭代过程中求增量。这里就不推导了，详情见论文。

二.其它

感觉这篇工作主要就是在于对IMU传感器数据的应用，对于笔者这些平时只处理图像和点云这类数据的人有些不太熟悉。此类型更多的工作可参考清华大学[2]的几篇工作，有的基于深度学习的方法已经可以做到实时了。特别地，EgoLocate这个项目, 将IMU动捕和视觉SLAM结合起来，笔者觉得还挺有意思的。

三.参考

[1] Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs

[2][https://github.com/Xinyu-Yi](https://github.com/Xinyu-Yi)

[3][IMU 运动/惯性传感器 - 人人都懂物联网](https://getiot.tech/zh/sensor/imu-sensor)

[4]Analyzing and Evaluating Markerless Motion Tracking Using Inertial Sensors

[5]Body Talk: Crowdshaping Realistic 3D Avatars with Words