A Biomechanically Inspired Recurrent Neural Network for 3-D Pedestrian Pose and Gait Prediction 学习笔记

Bio-LSTM:A Biomechanically Inspired Recurrent Neural Network for 3-D Pedestrian Pose and Gait Prediction

作者：Xiaoxiao Du , Ram Vasudevan, and Matthew Johnson-Roberson

论文地址：https://arxiv.org/pdf/1809.03705.pdf

摘要：

        在自动驾驶等应用中，推断和预测行人的意图和未来行为非常重要。这种能力允许车辆避免碰撞并提高乘坐安全性和质量。论文提出了一个受生物力学启发的递归神经网络，在现有的框架估计出来的3D姿态位置不准确的情况下，提出的方法可以预测全局坐标系中行人的位置和3D关节身体姿态，并且能够同时预测多个行人的姿势和全局位置。（针对城市交叉口规模，距离摄像机最远45米的行人）。网络的输出是用蒙皮多人线性模型参数(SMPL)表示的全身3D网格。所提出的方法依赖于新的目标函数，结合了人类行走的周期性（步态），人体的镜像对称性以及人类步态周期中地面反作用力的变化。结果表明，所提出的网络能够成功地学习行人步态的特征，并产生准确一致的三维姿态预测。

论文中主要的参考文献：

[1]. W. Kim et al., “PedX: Benchmark dataset for metric 3-D pose estimation of pedestrians in complex urban intersections,” IEEE Robot. Autom. Lett., pp. 1–8, 2018, doi: 10.1109/LRA.2019.2896705.

[2]. S. Hochreiter and J. Schmidhuber, “Long short-term memory,” Neural Comput., vol. 9, no. 8, pp. 1735–1780, 1997.

[3]. M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” ACM Trans. Graph., vol. 34, no. 6, 2015, Art. no. 248. [Online]. Available: http://smpl.is.tue.mpg.de/

论文的贡献：

1）除了全局坐标系和度量空间中基于骨架的关节定位之外的全身3D网格预测;

2）基于生物力学的新颖的LSTM网络中的损失函数，以确保逼真和自然的姿势预测;

3）在给定嘈杂的城市交叉口数据的情况下，对多个行人进行自然情况下步态和姿势预测；

4）提出了长期预测结果，这可以使用预测信息以及未来行人行为的语义解释来实现规避机动和路径规划。

 

相关工作：

1. 序列预测
2. 3D人体姿态表示： SMPL model   ??,?,?  translation ? 表示数据获取系统到人的距离(x,y,z)表示， pose ? 表示包括身体骨架装置中23个关节的相对旋转的轴角表示和x，y和z轴上的三个根方向参数（总共72个参数）ps: 具体怎么进行表示？？？ 在论文SMPL中，SMPL模型对应的关键点的参数

M. Loper, N. Mahmood, J. Romero, G. Pons-Moll, and M. J. Black, “SMPL: A skinned multi-person linear model,” ACM Trans.

Graph., vol. 34, no. 6, 2015, Art. no. 248. [Online]. Available: http://smpl.is.tue.mpg.de/    可以具体了解。 shape ? 10个参数，表示人的身体形状，并假设帧与帧之间人的身体形状不发生变化，   ps:具体表示怎么表示？？为什么是10？？？这是由SMPL模型建模需要的参数数目

步态生物力学： 1）人类身体的对称性 （?1=−?2）

                        2）步态频率（周期性）（速度、频率、步长、方向在一般情况下保持一致）

                        3）地面对人体反作用力的改变（地面与脚需要有一定的接触）

方法:

目的： 给出过去帧的3D姿态，预测未来帧的3D全身网络

• 网络架构

网络如上图所示用的是两个堆叠的LSTM递归神经网络，然后是一个接一个全连