Dense Trajectory

Dense Trajectory简称DT，是一种用来提取视频密集跟踪轨迹的算法；通常基于该轨迹进行取块计算descriptor。

（一）DT计算

1.概念：在视频序列中对每一帧的兴趣点进行跟踪就形成trajectory，若是对每一帧密集采样兴趣点进行跟踪就形成dense trajectory；

2.算法：

（1）对整个视频序列进行光流场计算（光流场，它是指图像中所有像素点构成的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影）；

（2）对初始帧进行像素点密集采样，每隔W个像素点采样一个；

（3）对采样点进行跟踪：由光流判断跟踪点在下一帧的位置；

M为中值滤波器，w为光流场

（4）对每个点跟踪都会形成一条trajectory，为了避免长时间跟踪而产生的跟踪点漂移现象，可以对跟踪的长度L进行约束（L=15）

（5）现实视频中存在摄像头运动的缺陷，因此需要相应算法消除摄像头影响，得到最终的DT；

（二）基于DT计算descriptor

1.轨迹特征：每条trajectory都可以提取一个轨迹特征向量S'（当L=15，S’为30维），对局部动作模式进行编码

2.HOG/HOF特征

（1）HOG特征对视频块进行表面特征描述；HOF特征对局部动作信息进行描述；

（2）以trajectory的每个点为中心，沿着轨迹取块，大小为N*N*L，为了引入结构信息，还对视频块进行网格划分，分为

个cell，对每个cell做HOG/HOF特征提取（若L=15，

，则每个cell的大小为16*16*5，每个cell的HOG特征维数为8，HOF特征维数为9，因此整个N*N*L的HOG特征维数为8*2*2*3=96，HOF特征维数为9*2*2*3=108）；

3.MBH特征

（1）HOF统计的是视频的绝对运动信息（0阶运动信息），MBH统计的是视频的相对运动信息（1阶运动信息）同时也可以消除掉摄像头运动的影响；

（2）MBH特征就是对光流图就行HOG特征统计，由于光流场有x，y分量，所以就有MBHx特征与MBHy特征；

（3）以trajectory的每个点为中心，沿着轨迹取块，大小为N*N*L，为了引入结构信息，还对视频块进行网格划分，分为

个cell，对每个cell做MBH特征提取（若L=15，

则每个cell的大小为16*16*5，每个cell的MBHx特征维数为8，MBHy特征维数为8，因此整个N*N*L的MBHx特征维数为8*2*2*3=96，MBHy特征维数为8*2*2*3=96）；

参考文献：

Action Recognition by dense Trajectories.

Action Recognition with Improved Trajectories.