【paper笔记】综述阅读-A Survey of Vision-based Human Action Evaluation Methods

文章翻译：文档：A Survey of Vision-based Human Actio…
链接：文档翻译

一、文章主要内容

1、基于骨架数据的运动检测/预处理
2、handcrafted（手动设计）的特征提取方法
3、基础的数据集和现有的研究工作

二、3种human action分析的对比

三种分析包括行为识别(HAR-Human Action Recognization)、行为预测（HAP-Human Action Prediction）、行为评估（HAE-Human Action Evaluation）。

（一）这三者都是什么？

• 行为识别
  （1）给静止图像或者视频分类（监督学习，有label）
  （2）找到动作开始帧和结束帧
• 行为预测
  预测未知的人类行为→发现异常→区分异常/正常
• 行为评估
  自动对动作进行评估（打分），提出反馈或者解决方案

（二）三者的影响因素？

• 行为识别和行为预测
  主要受人体行为本身和环境背景影响
• 行为评估
  只受**交互对象（也就是人体行为）**的影响

三、HAE概述

处于HAE主导地位的就是skeleton data-based action quality assessment（基于骨架数据的行动质量评估 ）。

3.1 骨架数据的检测和预处理

3.1.1 骨架数据检测

• 从前：使用RGB相机 / 深度感应摄像头
• 现在：从RGB图像中检测骨架数据。ps:这样更能促进数据集的多样性。
  自从Deep Pose（Deep Pose论文解读【精读！】）问世以来，传统的骨架化模型渐渐被取代（如 Deformable Part Model、Flexible mixtures of parts model）。

Deep Pose是几个人体姿态估计方法的基础，比如Open Pose, Alpha Pose, Dense Pose…

3.1.2 骨架数据预处理

1. 噪声滤波
   目的：获得健全的相似性量化细粒度质量评价
   做法：噪声滤波过程通常在大多数研究工作中的原始关节坐标上执行。传统的图像滤波技术，如拉普拉斯平滑，高斯滤波，离散余弦变换（DCT）和离散傅立叶变换（DFT），已被用于变换关节轨迹的离散坐标。因此，可以滤除零值或急剧变化的坐标，并且保留低频分量作为对人体位置的可靠检测。

2. 归一化 / 标准化（nomalization）
   目的：由于人的身高和拍摄距离都大不相同，因此不同视频中的人体尺度可能相当不同。需要将原始骨架位置标准化为原型范围以进行比较。
   做法：首先，选择序列的第一个骨架中的左右臀部中间作为参考点。然后计算从颈部到该参考点的距离并将其定义为标准化长度。最后，通过用标准化长度缩放来变换关节的位置坐标。
   应该是这样：
   

3. 对齐处理（alignment）
   目的：在执行动作时，表演者可能不在相对于相机的相同位置，并且动作视频通常是未修剪的，以便包括动作实例的准备和结束位置。因此，骨架位置需要在空间和时间维度上对齐。
   做法：由于距相机中心的偏移将不相同，因此通过减去髋部中心的位置来计算相对关节位置以获得骨架中心坐标表示。实际上，可以获得每个关节相对于髋关节中心关节的位置以消除空间过渡。之后，对相对关节的位置进行旋转变换。旋转角度theta由矢量从左髋到右髋到x轴的投影确定。然后通过旋转theta角的度数来变换每个关节的坐标，消除视图变化的影响。对于时间对准，传统的动态时间规整方法已经被一些前人的研究工作所采用。

3.2 手动设计（hand-crafted）特征法

这部分主要描述一下手动设计这个方法在不同领域的应用。
传统的特征检测方法：

• Spatial-Temporal（也有写成space-time的） Interest Points (STIP) —— 时空兴趣点
• Histogram of Gradient (HOG) —— 梯度直方图
• Histogram of Optical Flow (HOF) —— 光流直方图
• Scale-invariant feature transform (SIFT) —— 尺度不变特征变换
• Motion Boundary Histogram (MBH) —— 运动边界直方图

一些研究工作将行动质量评价纳入优化框架。其中，使用**bag-of-words（bow）或hidden-markov模型（hmm）**训练动作模型，并给出相应的评价函数来评价动作特征的质量分数。进一步提供可解释的反馈以改善运动性能。

3.2.1 手动设计方法在物理康复方面的运用

• Chen等人早期曾尝试在康复临床环境中开发用于定量评估人体运动质量的计算模型
  将运动学属性标准化并分类 → 改进RankSVM算法 → 评估中风幸存者的伸展和抓握能力
• Venkataraman等人开发了一种形状理论（shape-theoretic）方法来评估单标记家庭卒中康复的运动质量
  将一维时间序列映射到重构的相空间，提取形状分布来表示映射的m维吸引子的动态形状特征。然后，训练超向量回归函数，根据动态形状特征计算质量分数。
• Celiktutan等人提出基于图形的体育锻炼动作评价方法
  利用链式图形结构对骨骼关节间的时空关系进行建模，然后计算关节相对于躯干基部的倾角和方位角，以及关节之间的欧几里德距离，以表示姿势特征。姿态序列由链式图形结构建模，并通过图形匹配技术进行对齐。

在最近的基于骨骼的身体康复研究中，可以通过骨骼序列之间的时间比对来评估身体运动质量。

• 安图内斯等人的研究——提出一个指导用户如何正确地执行某些动作和动作的反馈系统
  首先，对骨架数据进行预处理，使骨架实例与模板实例在空间和时间上对齐。
  然后，在计算人体各部位三维坐标欧氏距离的基础上，量化两个骨架序列之间的匹配误差，对质量评分进行评估。
  最后，通过最小化骨架匹配误差自动计算反馈方案。
• Paiement等人研究和比较不同姿态表示和HMM模型与运动动力学的性能，以便对人体运动进行在线质量评估
  他们发展了鲁棒流形（robust manifold ）表示和一阶马尔可夫假设（关于马尔科夫假设）来描述人体姿态的动态。

3.2.1 手动设计方法在体育计分方面的运用