本文贡献
本文设计了一个动态的时间流,静态空间流,和本地空间流模块的TSCNN,分别尝试学习和整合时间,整个面部区域,面部局部区域的线索在ME视频识别ME的目标。此外,还设计了一个可靠的顶点帧检测算法。本文主要从顶点帧定位、时空特征提取和TSCNN建模三个方面展开叙述:
顶点帧定位
对于视频中的每一帧来计算UP-LBP直方图,将每一帧划分为6*6的图像,如图求得Apex Frame
时空特征提取
在本文中,我们提出的时空特征由三个部分组成:静态空间、局部空间和时间分量。具体网络构架如下:
最终效果