一.概述:
本文提出了一种新的局部描述子,这种个描述子是基于时空方向能量的,本文用它来进行行为定位;
本文采用的数据库是MIT-有氧运动的数据库【视频较长】,以及户外行为数据库【包含三种行为:向左走,向右走,挥手】;
本方法可以适应,多变外观的相同动作(例:人的衣着不同,但都在进行单脚跳)的定位、快速变换的动作定位、一个视场中多个行为的动作定位。
二.实践步骤:
1.定义三维高斯差分滤波器对输入视频帧的感兴趣区域进行滤波,即逐点卷积,得到的结果为每一个像素点时空能量信息,定义该值即为该点的时空能量的大小;
2.由于高斯差分滤波对相位敏感,根据瑞利定理(时域、频域的模的平方和正相关),得到信号的频域表示,此时的高斯差分是相位成分独立的高斯差分;
3.行为定位与目标跟踪是有略微不同的,行为定位希望得到的时空特征是,对细致的空间轮廓信息可以感知不到,但是,对运动行为的性质与模式是的需要很敏感的。
(例:针对穿着不同的、身形不一的,但动作一致的人,定位出其行为的一致性。这种待实现的要求,使得空间方向因为边缘化而大打折扣。)
简言之就是要得到像素时空能量中,像素点的运动方向。
另:
高斯滤波方向滤波有这样一种性质,变量为N的方向滤波可以实现N+1方向的空间划分,可以用下列公式将像素点的能量方向提取出来:
4.得到所定义运动方向上能量点数值的集合,并将之归一化得到;
5.用它构建时空能量方向梯度的模板块,进行训练学习;
【物理含义】
1)将感兴趣区域的像素点,提取出来,用高斯差分函数计算其三维时空方向的能量;
2)再将它投射到傅里叶空间,得到该点的能量谱;
3)根据该点频域上的能量谱的相位信息,根据不同的相位对像素进行归类;
4)频域的相位信息对应的是原像素点的运动角度,也就是像素点的运动方向,同一运动方向的像素点,表示的是同类运动;
5)对同类运动进行规范化表述;
5.本文用Bhattacharyya相似性度量方式,计算模板与视频块的相似性,其中S、T表示模板与视频的时空表示;
公式(7)
6.由于模板中不同区域对识别准确性的贡献度不相同,因此添加不同的权值对识别的效果有进一步提升,w表示加权:
公式(9)
结果M(x)为0到1分布的量,该数值量越小表示相似度越小,0表示模板与视频块完全失配,两者不存在相似性。
三.实践结果:
识别跳步、旋转、下蹲 与 向左走、向右走、挥手:
【本文待思】
如果将一类相同的点作为团块,将其放到时空立方体中,作为模板块进行模板匹配,识别行为,那么改变构造模块的方式,就能实现,识别特征的创新;
快速运动仅存在于有氧运动之中,但有氧运动近似认为是静止背景。而复杂背景的行为,为走路,走路行为目标运动速度较慢,因此,在高速运动且背景复杂的环境下的识别能力,本文不能给出较有力阐明。