背景
关于视频中的行为识别,通常会出现这种识别错误的情况:即一段视频中包含若干动作,譬如打篮球的视频中包含跑、跳、扔东西等多种行为,如何能正确地识别为投篮?
当前行为识别主要有两种CNN结构:(1)第一种:3D spatio-temporal 卷积,这种方法识别准确率有待提升,优势是速度较快。(2)第二种,也就是目前常用的方法:two-stream architectures,将视频分解成图像流和动作流。
目前对长时间结构建模的方法不只是有VLAD,还有LSTM方法,但是不是端到端的训练,需要后处理,ActionVLAD可以实现对视频的端到端的训练。
上述两种方法均有一种缺陷:这些方法主要集中于片断地信息,不能宏观的把握整个video。所以我们需要一种可以表示global feature的方法。因此ActionVLAD应运而生。而该方法起源于NetVLAD,NetVLAD起源于VLAD。这个方法可以聚集aggregate feature,相当于一种新的Pooling策略。
讲述ActionVLAD之前,需要先讲解NetVLAD。
NetVLAD:
VLAD是一种新的池化方法,在事件层面的检索和图像分类方面有着重要的作用。其中,与VLAD可以相提并论的另一种方法BOF法。BOF法具体内容可以看
http://