MoSIFT特征

MoSIFT是Charif等人提出的一种新颖的时空特征（Motion Scale Invariant Feature Transform）算法，算法首先提取图像中的SIFT点特征，然后计算与SIFT关键点尺度相对应的光流大小。

因为MoSIFT特征是基于SIFT特征的，所以不懂SIFT特征的请看：这里

MoSIFT算法能够检测空间上具有一定运动的、区分性强的兴趣点，运动强度由兴趣点周围的光流强度来衡量。

• MoSIFT特征点检测

MoSIFT 算法首先找到视频相邻帧中多个尺度下的DoG 空间兴趣点（SIFT特征点），然后计算与SIFT 尺度相对应的光流，得到时空兴趣点。上图为MoSIFT 算法的系统框图，输入为相邻的两帧图像，通过高斯差分，找出DoG空间中的局部极值点作为候选点，然后通过光流，分析判断这些候选点是否存在足够的运动信息，以决定是否作为兴趣点，最后提取特征点处的MoSIFT 特征。将SIFT 特征点与光流相结合，可以去除与运动无关的兴趣点，提炼出真正可以描述运动的特征。

• MoSIFT特征点描述

  
  

MoSIFT 特征由128 维SIFT 向量和128 维光流方向直方图连接而成，共256 维。光流方向直方图的组合方式与SIFT 特征向量的组合方式类似：将光流的模值和角度对应为SIFT 中像素梯度的模值和角度，在局部领域内进行加权。

与SIFT描述子不同，这里并不需要旋转各点的光流到主方向上，原因在于不同于空间域的旋转不变性有助识别角度同目标，光流角度是用于运动描述的重要信息。

   光流特征的局部邻域加权示意图如图所示，先将局部邻域内的像素划分为4×4个子区域。与SIFT描述子类似，在每个子区域内计算8维的光流方向直方图，最后将所有子区域的直方图串接起来形成128 维的光流方向直方图。