时空建模新文解读：用于高效视频理解的TSM

其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。

• 书的购买链接
• 书的勘误，优化，源代码资源

接着之前的《浅谈动作识别TSN，TRN，ECO》，来谈谈最近 MIT和IBM Watson 的新文 Temporal Shift Module（TSM）[1]。

 

Something-SomethingV1 数据集上的个算法性能对比

看看上图，文章的主要贡献一目了然：

1. 对比主流的轻量级在线视频理解ECO系列， TSM系列在参数量少三倍的情况下，性能仍然超越ECO系列
2. 另外文章的TSM模块的实现非常简洁而且硬件友好：通过在2D CNN中位移 temporal 维度上的 channels，来实现时间上的信息交互。故不需要添加任何额外参数，且能捕捉Long-term 时空上下文关系。

Related Work:

大概过一下之前的几个重要工作（也是本文性能对比的主要几个state-of-the-art）:

1. TSN[2]：视频动作/行为识别的基本框架，将视频帧下采样（分成K个Segment，各取一帧）后接2D CNN对各帧进行处理+fusion
2. TRN[3]：对视频下采样出来的 frames 的deep feature，使用 MLP 来融合，建立帧间temporal context 联系。最后将多级（不同采样率）出来的结果进行再一步融合，更好表征short-term 和 long