人体姿态识别

姿态识别简介

姿态识别是人工智能领域重要的研究课题。人体姿态识别赋予计算机具有感知状态的能力，将姿识别和 VR应用相结合，在游戏娱乐、人机交互 和生产制造等领域具有广阔的市场前景。本文基于深度学习，实现将三维空间人体姿态识别和 VR进行结合。主要工作如下 ，首先 基于 Bottom-Up思想，采用 OpenPose模块实现二维空间中的人体姿态识别，克服 了 Top-Down思想引起的识别效果差和计算效率低问题，并提取 2D人体骨架信息保存为JSON文件。 然后使用 VideoPose3D模块将 模块将 2D人体骨架信息转化为人体骨架信息转化为 3D人体骨架信息，从而实现三 维空间中的姿态识别，并保存 3D人体骨架信息为 人体骨架信息为 BVH文件。再基于 Blender软件 实现进行 3D渲染，从而实现真实人运动到虚拟人运动的映射。

姿态识别主流研究方法

研究姿态识别的历史，起始点可以追溯到上个世纪中期。当前，姿态识别研究已经发展出了两种主要方法：基于RGB图像的人体姿态识别和基于人体骨骼关节点的姿态识别，两者的本质都是一个分类问题，它们都可以提供准确的结果。随着姿态识别技术的不断发展，在数据量和识别的精确度等方面，后者都优于前者。

OpenPose网络结构如下（此图为CVPR顶会文章原图，该文章链接附在本文末尾）：

实现流程图如下：

整体实现效果如下：

 

 

 

最终效果展示 — — 视频

 

 所参考论文如下，详细论文可自己搜索查看，论文非常经典，真的值得一读。

  [1]CAO Z，SIMON T，WEI S E，et al．Realtime multi-person 2D pose estimation using part affinity fields[C].IEEE Conference on Computer Vision and Pattern Recognition，Washington, USA: IEEE，2019: 1303-1310．

[2] Wei S, Ramakrishna V, Kanade T, et al. Convolutional pose machines[C]. Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. United states: IEEE Computer Society, 2016:4724-4732.
[3] Pavllo D, Feichtenhofer C, Grangier D, et al. 3d human pose estimation in video with temporal convolutions and semi-supervised training[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019: 7753-7762.