研读《基于人体三维姿态的动作评价系统》论文

类似论文：《基于OPENPOSE的三维上肢康复系统》
本论文涉及的知识点比较多。
我将分成以下部分介绍本论文的主要内容：
1.摘要
2.双目识别环境搭建（参考我写的博文：最详细的双目摄像头测距离（深度）的原理https://blog.csdn.net/suswulongyuan/article/details/90488396）
3.openpose（参考我写的博文：深度学习tf-pose-estimation人体姿态识别实现教程
https://blog.csdn.net/suswulongyuan/article/details/90572956）
4.卡尔曼滤波修正关节点信息
5.动态时间规整法（DTW）
6.视频动作对齐实验结果展示
7.系统搭建
8.总结展望

1.摘要（概括）：

现有的运动姿态捕获系统需要为实验者佩戴额外的辅助设备，操作不方便；且有些设备不能应用于室外场景，使用范围受到限制；
基于单目估计人体三维姿态的方法准确性不高、算法的鲁棒性较差。本文研究了将双目立体视觉和深度学习相结合来恢复人体三维姿态的方法。
1.先利用级联的深度网络结构来进行人体二维关节点的提取、然后利用双目视差原理来恢复关节点的三维信息，针对高尔夫挥杆过程中的姿态回去，利用卡尔曼滤波来修正关节点信息，进而回复人体三位姿态。
2.一般来说，不同时刻或不同人做的动作快慢存在差异，因此本文提出了动态时间规整的方法来解决动作不对齐的问题，将动作对齐后，可以更合理地对两种动作的相似性进行评估。
针对现有运动姿态捕获方法存在的缺点，提出了结合深度学习和双目立体视觉获取人体三维姿态的方法。
对于两个快慢不同动作的评价，提出了利用动态时间规整来进行动作对齐，通过合适的特征提取，该方法可对齐两个长度不一致的视频。
研制了高尔夫挥杆动作评价系统，该系统可将训练者的挥杆动作和标准动作进行对比，给出关键动作处训练者的姿态和标准姿态的差异，作为球员练习的辅助训练系统。

3.卡尔曼滤波修正关节点：

卡尔曼滤波算法被普遍应用于状态最有估计问题，其基本思想就是无偏最小方差估计，即根据系统的历史观测值，建立系统状态模型，使模型的后验概率达到最大。
分为两个阶段：预测阶段和校正阶段。预测阶段即建立合适的运动模型，通过历史观测值来预测目标下一时刻的位置。校正阶段即每获得一个新的观测值，都将其与预测值进行对比，从而继续修正模型，对新的观测值进行校正，使其接近真实值。

4.动态时间规整法：

动态时间规整方法是再动态规划的基础上形成的，它是将时间轴产生的波通过规整函数进行相应的建模，为了对齐两个不同的时空模型，就需要将其中一个模式的时间轴进行弯曲，使得其与另一个时空模式的重叠程度尽可能大。

5.视频动作对齐实验结果展示：

在第三章已经得到各个关节点的信息，因此本论文对单帧动作的评价基于每个关节特征向量的相似程度，即每个关节对计算相似性并求和作为两个姿态间的相似程度。 其中第i（i=0，1，2，…14）个关节点的空间坐标计为coori

根据以上所提取的特征向量就可以进行单个姿态的相似性比较，实验中假设两个待评价动作都是正对相机，由于余弦相似度对各部位进行比较的计算公式如下：
vi和vi‘分别表示模板动作和待测动作中的第i个关节姿态的相似性比较，式子的取值为【-1，1】.在比较整体姿态间的相似性时，对各个部位比较结果进行求和。cos(0)=1
相似性得分越高，说明该标准动作越接近，得分最高的作为最标准动作。
左侧是标准动作，右边三个是评估动作。




根据表4.2可以得出结论，采用本论文提出的单个姿态相似性度量方法，三个瑜伽动作中，与标准动作最相似的是测试动作3.

然后对两个长度不一样的视频动作进行实验。



图4.8所示为节奏较快的高尔夫挥杆动作的四个姿势，图4.9和4.10展示的是对节奏较慢视频分别以不同的方式去与图4.8的原始视频进行动作对齐的结果。

6.系统搭建：

1.相机标定模块：

2.数据采集

3.动作评价结果展示
一般来说，学习者在学习一个动作时，捕获的动作视频序列可能多达百帧，如果去逐帧比对自己的姿态与标准姿态间的差异，花费时间较长，学习者可能会失去耐心，学习效果不好，其次时没有针对性地去逐一练习姿态，效率比较低；而如果将一个挥杆动作进行分解，选取其中的几个关键动作进行有针对性地练习，使几个关键动作处地姿态越来越接近标准。
因此子啊标准动作采集完毕后同时确定好挥杆动作中地关键动作，作为标准动作地模板，其中关键动作地选取标准和个数可参考高尔夫教练地意见进行更科学地设置，没有统一标准。本论文以挥杆手肘相对地面高度为选取标准，选取了四个关键动作，这四个动作可呈现整个挥杆过程，分别为高尔夫挥杆过程中地旗杆、击球、下杆、随杆；

关节角度在很大程度上能反映一个动作和标准动作是否接近，所以本系统的评价通过计算关节点处的夹角来给出结果。
从图中可以看出，测试动作和左手肘与标准动作相差了12度，说明左手肘处需要增加弯曲度；与标准动作比，左髋所形成地角度偏大，说明上半身的弯曲程度不够；应该向下弯；肩的位置在下一次训练过程中需要相应的调整。

8. 总结与展望（略）

1.本论文采用了openpose框架，由二维关节点提取的准确性直接影响了三维姿态重建，可以考虑对算法进行改进，能适应自适应遮挡情况的二维姿态提取。
2.本文选取黑白图像，应该选取彩色图像。
3.击球瞬间高尔夫球杆的弯曲情况，高尔夫击球过程中的飞行速度、角速度、以及自旋速度都是评价高尔夫挥杆水平的重要指标，可作为评价动作标准型的参考信息。
4.可考虑添加更多的系统功能。