百度 PaddlePaddle开源视频分类模型Attention Cluster，曾夺挑战赛冠军

Attention Cluster 模型

视频分类问题在视频标签、监控、自动驾驶等领域有着广泛的应用，但它同时也是计算机视觉领域面临的一项重要挑战之一。

目前的视频分类问题大多是基于 CNN 或者 RNN 网络实现的。众所周知，CNN 在图像领域已经发挥了重大作用。它具有很好的特征提取能力，通过卷积层和池化层，可以在图像的不同区域提取特征。RNN 则在获取时间相关的特征方面有很强的能力。

Attention Cluster 在设计上仅利用了 CNN 模型，而没有使用 RNN，主要是基于视频的以下几个特点考虑：

图 1 视频帧的分析

首先，一段视频的连续帧常常有一定的相似性。在图 1（上）可以看到，除了击球的动作以外，不同帧几乎是一样的。因此，对于分类，可能从整体上关注这些相似的特征就足够了，而没有必要去特意观察它们随着时间的细节变化。

其次，视频帧中的局部特征有时就足够表达出视频的类别。比如图 1（中），通过一些局部特征，如牙刷、水池，就能够分辨出『刷牙』这个动作。因此，对于分类问题，关键在于找到帧中的关键的局部特征，而非去找时间上的线索。

最后，在一些视频的分类中，帧的时间顺序对于分类不一定是重要的。比如图 1（下），可以看到，虽然帧顺序被打乱，依然能够看出这属于『撑杆跳』这个类别。<