这篇论文的核心思想是通过在2DCNN中位移temporal维度上的channels,来实现视频中时间维度上的信息交互。作者分析了一般的卷积操作,其主要分为两个部分,1是位移,2是对应位置的权值相乘再相加。其中位移不消耗计算资源,所以,作者想到能否可以在temporal维度上位移,达到不同帧的特征信息交融来增强模型对视频信息的理解。位移过程如下图所示:
上图中,不同颜色代表不同帧的特征,其大小为chw*。图b中,在T方向上,将第一列向下位移1位,第二列向上位移1位,空出的部分补0填充。
**这样的位移方法也有它的弊端。**其一,大步长的位移会导致原始特征中补充的0太多,导致丢失重要信息。2、给硬件造成了负担,增加了内存的占用。3、降低了空间维度的建模能力,由于原有的空间特征被破坏,所以可能会导致变差。
为了去研究其优势和劣势,作者测量了TSM模型和2Dbaseline在不同硬件设备上的推理延迟。使用ResNet-50主干和8帧输入测量模型,使用无移位(2D基线)、部分移位(1/8、1/4、1/2)和全移位(移动所有通道)进行比较(下面曲线图a)。1000 次运行后(之前有200次的热身),发现位移操作相比baseline的确有延迟影响。移动所有通道,延迟开销将占到CPU推理时间的13.7%,移动1/8,延迟开销限制在3%.