【论文】Convolutional Two-Stream Network Fusion for Video Action Recognition

双流网络的不足

CNN在别的领域已经取得了巨大的成功，但在动作识别领域却不尽人意，作者认为该领域在当时存在两个问题：

（1）数据集太小。动作识别中除了图像信息还包含运动和视角各种信息，需要的数据量应该要超过图像分类才对。然而现实是图像分类数据集imagenet每个类别的1000个样例，而ucf101每个类别只有100个样例。

（2）当时提出的CNN架构都不能充分利用时间维度的信息。

---

当时最好的双流CNN，也存在（2）这个问题，作者具体说了两点：

（1）双流网络无法学习到时间特征和空间特征的像素间的关系。我的理解是空间特征可以学习到物体是什么，例如手臂、躯干、腿… 时间特征可以学习到物体在做什么运动，例如挥动、平移、旋转… 而手臂挥动和腿挥动明显是不同的动作，躯干平移和躯干旋转也是不同的动作。换言之，将空间特征和时间特征结合起来考虑，能为动作识别提供更多线索，也就有希望提升网络的表现。

（2）双流网络对时间维度的利用很有限，空间网络只用了一帧，时间网络只用了10帧。

---

针对这两个问题，作者对应地提出两种解决方法

（1）空间融合：在隐藏层中间对两个网络进行融合（Figure 2），并且提出了多种融合方式；

（2）时间融合：提出用Conv3D和Pool3D提取时间维度的特征，在时间维度上进行“融合”（Figure 3）。

空间融合

融合方式

融合层有两个输入，一个输出。 $x_t^a\in R^{H\times W\times D}$ 代表空间网络的输入， $x_t^b\in R^{H\times W\times D}$ 代表时间网络的输入，$y$ 代表融合层的输出。

融合方式	数学表达式	维度	增加参数
Sum fusion	$$y^{sum}=x_t^a+x_t^b$$	$$y^{sum}\in R^{H\times W\times D}$$	无
Max fusion	$$y^{max}=max(x_t^a,x_t^b)$$	$$y^{max}\in R^{H\times W\times D}$$	无
Concat fusion	$$y^{cat}$$