Human Motion Analysis: A Review理解

    上个讨论班老师说关于论文要当成一个任务来做，而且必须完成，我还实在不知道该如何着手。也是烦死了。这篇论文是J.K.Aggarwal 和Q.Cai两个人写的。如果你已经写出了论文，请告诉我，应该怎么开始着手写论文。我快疯了。

    这是一篇综述类的文章，之前看过了他写的Human Activity Analysis，而这一篇是相对于上一篇的10年前的论文，这十年间究竟发生了什么样的进步，而这十年进步的基础则是十年前的论文所概括的。也就是1998年的这篇。关于J.K.Aggarwal之前已经简单介绍过了。Q.Cai的主要研究方向上是运动分析，面部识别，深度图像，眼部动作的跟踪之类的文章，她也是一个大牛，而且也笔耕不辍，甚至在14年也发表了自己的文章。

     也先来看一下综述了解一下大致的内容。

   Human motion analysis is receiving increasing attention from computer vision researchers. This interest is motivated by a wide spectrum of applications, such as athletic performance analysis, surveillance, man–machine interfaces, content-based image storage and retrieval, and video conferencing. This paper gives an overview of the various tasks involved in motion analysis of the human body. We focus on three major areas related to interpreting human mo-tion: (1) motion analysis involving human body parts, (2) tracking a moving human from a single view or multiple camera perspectives, and (3) recognizing human activities from image sequences. Motion analysis of human body parts involves the low-level segmentation of the human body into segments connected by joints and recov-ers the 3D structure of the human body using its 2D projections over a sequence of images. Tracking human motion from a single view or multiple perspectives focuses on higher-level processing, in which moving humans are tracked without identifying their body parts. After successfully matching the moving human image from one frame to another in an image sequence, understanding the hu-man movements or activities comes naturally, which leads to our discussion of recognizing human activities

     大体内容是说人体运动分析受到了计算机视领域研究者越来越多的关注。这种兴趣是由大范围的应用所激发的，诸如运动员性能分析，监控，人机界面，基于内容的图像存储和检索，和图像会议。这篇文章给出了在人体运动方面的多种任务的概述。我们聚集的焦点主要在三个与理解人体动作有关的领域：（1）涉及到人体多部位的运动分析(2)从单视角或者多个摄像机视角跟踪一个运动的人。（3）从图像序列中识别人体行为。这三个部分简单描述如下：人体部位的运动分析包括由关节相连的从人体到部位的低级分割并从图像序列中的2D投影恢复3D结构。从单视角或多视角跟踪人体运动聚焦于高级处理，其中跟踪不必确定它们的身体部位。在成功的在图像序列中逐帧匹配运动的人体图像之后，理解人体动作和行为的问题自然到来，这导致了我们识别人体行为的讨论。这也是本篇论文的大体内容。

    这两个人是本篇文章的作者。Qin Cai是微软研究员。J.K.Aggarwal是德克萨斯大学的教授。两个人都是各自方向的牛人，而且Qin Cai是上海交通大学毕业。现在做的学术非常好。现在仍然带着微软的三个项目。诸如面部交互，实时头部姿势跟踪器，眼睛凝视跟踪来提高自然用户界面。如前面摘要所述，该篇文章主要谈及的内容是人体结构的运动分析，从单一视角或者多个摄像机视角不使用人体结构的跟踪以及从图像序列中识别人体行为。

    身体结构的运动分析通常涉及低级处理，诸如身体部位分割，关节点检测和确定，在图像序列中通过2D投影恢复3D结构。从单一视角或者多视角在不使用人体局部结构的情况下跟踪涉及使用视觉特征来直接检测人体的存在。这是直接从图像序列中把人作为一个整体检测出来。而运动信息，诸如位置和速率，以及灰度值，被用来建立连续帧之间的匹配。只要连续帧之间的特征一致性解决之后，下一步就是自然的进入到人体动作的理解了。

    通过这个树图，我们可以很清楚的看到这篇10年前的综述论文所涉及到的内容。在第二部分讨论人体部位的运动分析。两种方式来获得，即不基于先验的模型，和基于模型的方法。基于模型的方法是通过匹配真实图像到预定义的图像来实现的。这类的的标志性论文则是AAron F . Bobick和James W.Davis两人写的一篇论文The recognition of human movements using temporal templates。论文中通过建立两种时间结构MEI和MHI来识别不同的人体动作。其中MEI运动能量图是该动作所涉及的全部区域的图，用来指示动作在何处发生。而MHI运动历史图则是一副指示轮廓运动临近性的图，越接近发生的动作赋予较大的灰度值，来表征人体动作的时序关系。通过两幅图也可以做到很好的识别不同类型的动作。而不使用先验模型的论文连续帧之间的特征一致性建立在与位置，速率，形状，纹理，颜色相关的特征的预测的基础上。但是这两种方法遵循同样的框架即（1）特征提取（2）特征一致性建立（3）高级处理。两种方法的差异主要在建立特征一致性的建立上。我们可以看看当时关于人体部位的运动分析的树状图

     还是以基于模型的较多。不使用模型的方法需要使用启发式的方法来建立连续帧之间关节点特征的一致性。所有这些方法都需要高的精确度提取身体部分和关节点。并不需要建立一个模型。而基于模型的方法较多，诸如下列的图：

 

     上面三幅图像，分别三三篇论文中所构建的肢体运动模型，身体部分一次由线，2D缎带，3D体积所近似的人体模型。对应的，即单线条画，2D轮廓，和椭圆柱体表示。多数方法为了进行人体部分的运动分析应用预定义的模型来进行特征一致性建立和结构恢复。所有这些方法会遭遇把一个图像匹配到不同复杂度模型的抽象表示的问题。

      不使用身体部位的跟踪



      这是论文的第二大部分。之前，我们讲述的主要内容是由关节点相连的身体部位。但是监控等应用仅仅需要跟踪感兴趣的主体，不需要标记身体部分和定位相连的关节点位置。这样，直接通过跟踪整体的运动而不是局部会更加的高效。通常，跟踪涉及在图像之间使用像素，点，线，和块基于他们的运动，形状和其他的视觉信息进行匹配。有两种类型的一致性模型，即图式模型和结构模型。图式模型使用相关的模板而结构模型使用图像的特征。在这一部分，论文主要讲述的是基于结构模型。从两个角度出发即单一视角和多视角。两种场景的主要差异是从多个视角用于匹配的特征必须被投影到相同的空间参考系下，而单一视角跟踪则没哟这个要求。

     用于跟踪的特征从点到运动块。也有另外的一个趋势是使用颜色网格或者聚类进行人体运动跟踪。

      人体行为识别

     对于人体行为识别，有两个大的策略，一个就是状态空间方法，另一个则是模板匹配技术。使用模板匹配的方法中，最常用的特征是2D网格。Bobick和Davis的时间模板是这类方法的典型。通过MEI和MHI以及HU矩的特征来识别行为。识别问题的关键是找到关键和鲁邦的特征。提取特征之后，就可以使用诸如最近邻，决策树，回归模型的方法进行分类了。基于状态空间的方法中一个代表的模型是隐马尔科夫模型。