图卷积被多个领域广泛关注,本文介绍下我在ECCV2018年上的一个工作,用图卷积来建模视频:Hierarchical Video Frame Sequence Representation with Deep Convolutional Graph Network,希望能做视频建模的带来些思路。
如何对视频进行建模呢?也就是如何用一个或多个向量表达一个视频呢?
视频指纹算是一种通用的特征,它一般是一种手工设计的特征,采用颜色空间、纹理空间的统计值作为特征,并进行压缩编码,对视频每帧(或关键帧)都进行提取。这种视频指纹主要用于同源匹配,结果可以定位精确到毫秒,是一种不带语义的embedding,泛化性不高。
而带语义的embedding是一种获得泛化性好的特征。首先我们会对帧进行采样,然后过CNN网络提取单帧embedding,接着通过一个序列建模,获得一个全局的语义embedding。基于这个embedding,我们可以进行分类、检索、聚类等任务。
比如可以采用无参的方法,即手工设计一个融合策略,包括均值计算等。也可以用序列表达的常用方法LSTM。目前效果比较好的征聚合方法是NetVLAD。相对域VLADÿ