PaperReading3-A Closer Look at Spatiotemporal Convolutions for Action Recognition

今天我给大家介绍的这篇论文是发表在CVPR2018关于研究视频动作识别的论文《 A Closer Look at Spatiotemporal Convolutions for Action Recognition 》，论文主要提出了一种新的卷积的形式来处理这种时空信息，因为对于视频来说连续帧可以看作是一个立方体中放置了多个slice，而这多个slice就单独是2D空间上的信息，连在一起是3D时间上的信息，仅仅是采用2D不考虑时间信息做视频动作识别会导致忽略上下文的之间联系是不可行的， 所以常常会采用两种方法：一种是3D的卷积来处理这种时空信息，另一种采用2D卷积加上LSTM之类的短时记忆结构来处理时空信息。这篇论文的起始点是第一种方法，在3D的形式上做了卷积的进一步改进，以便更好的处理时空信息。

讲下论文的motivation，才能顺便说说论文设计的好处：

1针对视频任务（可以看做是有关联信息的3D图像），单用2D卷积网络不能捕捉时间上的推理信息（图1（a）），采用3D卷积网络还是能达到比较好的效果，毕竟卷积了前后几个slice的信息（图1（d）），但是3D网络不可避免会多了很多参数，有计算冗余的缺点。

2在性能和模型大小的权衡之下，论文提出第一版改进模型：2D+3D，称之为混合卷积（MC，mixed convolution），一共有两种模式（图1（b）（c）），这样做的好处：减少参数，保持性能。论文给出了数据，相对于2D网络参数增加了3-4%，相对于3D网络参数为三分之一，但可以达到接近3D卷积网络的效果。

3在2的基础上，论文又提出了升级版（图1（e）），（2+1）D，将3D的卷积拆分成两个既分开又连续的操作，所谓分开是指分两步进行提取信息（图2），第一步采用2D卷积提取的是空间上的信息，第二步采用1D卷积将上一步提取的空间上的信息给关联起来。所谓连续是指先空间卷积再时间卷积，以此结构实现对于时空信息提取更好的非线性操作，增加模型的复杂度，可能会拟合得更加贴切。另外还有个好处就是，这样相比3D卷积参数少，而且更加容易优化，收敛效果更好。

下面就是3D卷积和（2+1）D卷积的比较，（2+1）D的操作也比较简单，就是2D的卷积后，再用channel×1×1的卷积实现原来2D卷积的信息的融合。

read_date:20180707