基于VGG-Net的人体行为识别(Action Recognition)

Abstract:

本文对论文’Towards Good Practices for Very Deep Two-Stream ConvNets’的复现。该论文采用了two-stream的卷积方法，该方法的鼻祖是VGG团队，该团队的论文是14年的’Two-Stream Convolutional Networks for Action Recognition in Videos’ ,从此开创了新的一派，可以战胜C3D一派。Yuanjun Xiong的VGG未防止数据量太小导致过拟合，实现two-stream的创新点如下:

• 采用了ImageNet预训练的模型进行fine-tune。

• 更小的学习率

• 新的数据增广的方式。

• 使用了多GPU并行训练的策略。

网络特点

• 该网络首先将视频转换成rgb和灰度的光流图存储起，因此，输入网络的不是视频，而是视频提前转好的图片。
• 采用ImageNet的model进行finetune。当在spatial Stream时，输入RGB图，RGB图的选取方法是：在视频中随机抽取一帧作为RGB图。因此，ImageNet训练的model可以直接在spatial stream使用。而temporal stream，由于输入的是光流图，而输入的光流图在视频中得到的光流图集合中，随机选取某一帧光流图作为第一张图，而训练的图是10帧光流图的堆叠，(有x方向和y方向，通道数为1*2*10=20），temporal stream第一层卷积的参数量与spa