python视频识别_视频人员行为识别（Action Recognition）

一. 提出背景

目标：给定一段视频，通过分析，得到里面人员的动作行为。

问题：可以定义为一个分类问题，通过对预定的样本进行分类训练，解决一个输入视频的多分类问题。

这里提出的问题是简单的图片(视频)分类问题，该问题的前提条件是：场景目标为单人，并且占据图片比较大的比例，如下图所示：

还有一类问题是基于行人检测，去估计行人的姿态和动作，暂时不在本篇讨论范围内。

二. 行为识别的发展

和其他领域一样，我们还是先从未被深度学习攻占的传统方法讲起，我们标记的里程碑算法是 iDT。

iDT 方法是基于 DT(Dense Trajectories)方法，第一印象可以理解为 稠密光流 的轨迹。

如图所示，我们将算法描述为以下步骤：

1)在原始图像多尺度上进行密集特征点采样，采样间隔为W(上图左)；

2)进行有效的特征点筛选(只保留有用的)，这里选用的方式是基于自相关矩阵的特征值；

和直接通过surf去选择特征点的思路基本上一样。

该 Step 形成空域信息。

3)跟踪特征点，在时间轴形成特征点的轨迹序列(上图中)；

该 Step 形成时域信息。

4)对应每个时间片上的每个特征点，在该点影响范围内 分别进行特征采样(HOG、HOF、MBH)(上图右)，

对序列进行编码(Fisher Vecto