2021-03-30

Late Temporal Modeling in 3D CNN Architectures with BERT for Action Recognition
1。概述：
在3DCNN的基础上进行的改进，把3DCNN最后的全局平均池化层换成了 Bidirectional Encoder Representations from Transformers(BERT)，为了更好的利用时间信息。
2.主要结构

吧平均池化去掉，直接输入到 BERT中，经过训练输出特征。
3. FRAB和FRMB
由于BERT的计算二次增大了output的尺寸，这就造成了module的参数量大大增大了。为了减少这个参数量，作者提出了2个特征减少块FRAB和FRMB
如图，FRMB是在module中的最后的单元块换成新的单元块来降维，FRAB是直接在外边加一个单元块来降维。实验表明，FRMB更适合在这个module中用来降维。
4.在slowfast网络中的实验
因为slowfast网络和别的网络有明显的不同（通过slow网络捕捉空间信息，fast网络捕捉时间信息）， 所以单独列出来。
这个模块有一个早期融合和晚期融合的问题，所以吧这两个问题分开讨论。
5.结论
这篇论文属于精度最高的一篇论文了，具体问题因为还没有做复现，暂时还不清楚。不过网络过于复杂，检测的实时性不高，是一篇做复现的好文章。