用图卷积来建模视频

图卷积被多个领域广泛关注，本文介绍下我在ECCV2018年上的一个工作，用图卷积来建模视频：Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network，希望能做视频建模的带来些思路。

如何对视频进行建模呢？也就是如何用一个或多个向量表达一个视频呢？

视频指纹算是一种通用的特征，它一般是一种手工设计的特征，采用颜色空间、纹理空间的统计值作为特征，并进行压缩编码，对视频每帧（或关键帧）都进行提取。这种视频指纹主要用于同源匹配，结果可以定位精确到毫秒，是一种不带语义的embedding，泛化性不高。

而带语义的embedding是一种获得泛化性好的特征。首先我们会对帧进行采样，然后过CNN网络提取单帧embedding，接着通过一个序列建模，获得一个全局的语义embedding。基于这个embedding，我们可以进行分类、检索、聚类等任务。

比如可以采用无参的方法，即手工设计一个融合策略，包括均值计算等。也可以用序列表达的常用方法LSTM。目前效果比较好的征聚合方法是NetVLAD。相对域VLAD，VLAD的表达中心不可变，而NetVLAD是可变的，聚类中心随着训练的进行不断的调整，因此可以不在中心。如下图，通过上面这个分支获得每个特征属于当前某中心的概率，然后用这个概率集去对原始特征集进行加权平均。获得kxd的特征向量。