cv--action入门调查

human action分类：

范围很广，从基本手势到人类团体事件。

1. gesture（肢体运动）
2. actions（单人行为）
3. interaction（多方交互）
4. group activity（群体事件）

研究方向

action recognition（video classification）

输入已经分割好的视频片段，输出一个标签，多分类问题

核心环节：

1. action feature extraction：在原始视频中，使用特征提取模型在视频中提取有区分度的行为特征，输出适合分类的向量形式，该步骤是行为识别中至关重要的一步，特征向量的鲁棒性和区分度直接影响行为识别的准确率。
2. action representation：根据某种规则将提取的行为特征有序地组织起来，使其具有更高层的表示意义
3. action classification

temporal action detection（action detection）

和action recognition只关注what相比，temporal action detection还多关注一个where问题，temporal action detection：action location + action recognition

核心环节：

1. feature extraction：特征提取步骤从视频中提取动态和静态行为特征。
2. proposal：提名机制筛选出行为可能发生的时间位置并记录
3. classification：对提名片段上的行为特征进行分类

action segmentation

和action detection相比，action segmentation是frame-label的

action parsing

商汤提出的新问题，在一段动作视频中，定义一连串子动作（sub-action），动作解析即定位这些子动作的开始帧。该任务可更好的进行动作间和动作内部的视频理解。