Clockwork Convnets for Video Semantic Segmentation
Abstract
作者根据场景语义内容演变得慢的特点,以及执行可以被视为架构的一方面的特点,定义了一系列新颖的**“发条“卷积网络。**
Introduction
作者展示了该架构对于固定时间表和自适应时间表的有效性同时减少实时识别延迟的流水线计划,减少了计算,从而减少时间和功耗的固定速率。
Related Work
作者将用于图像语义分割的全卷积网络扩展到视频语义分割同时涉及到的工作还有视频网络和帧选择、网络加速。
Fast Frames and Slow Semantics
作者阐述了它们方法的由来,观察到深层特征的“速度”相对于浅层特征以及大多数输入而言较慢,同时,浅层和深层之间的差异是相关的。尽管对于任何给定帧,中间层 差异始终大于最深层差异,但运动较大的视频的 pool4 差异比运动相对较小的视频大得多。这一观察结果形成了使用中间差异作为确定自适应时钟触发的指标的动机。
A Clockwork Network
作者定义了一个新颖、通用的时钟框架,它可以有目的地比浅层更慢地调度更深地层。
Execution as Architecture
发条架构将网络划分为根据不同时间表执行的模块或阶段。
Networks in Time
将调度纳入带有时钟的网络后,可以通过改变时钟来优化各种任务的调度。
Adaptive Clockwork
自适应时钟根据输入和网络状态触发,从而产生随场景动态变化的响应时间表
Results
作者以FCN-8s为基础网络,在四个视频语义分割数据集上评估clockwork FCN.