双流网络论文精读笔记

双流：空间流（单张图片）和时间流网络。深度学习首次超过手工抽特征的方式。
空间流采用单帧的输入，主要用来描述物体的场景信息（物体本身就是很强的线索）。
时间流（光流）主要用来抽取动作特征（动的地方是光点），然后利用卷积神经网络能很好实现图片与分类的映射来解决动作识别的问题。
最后在进行加权平均或在得到的softmax分数上再训练一个svm做分类
光流的叠加方式：1.直接简单粗暴的叠在一起作为输入 2.将光流图基于轨迹的连接3.双向光流：既计算前向光流又计算后向光流
作者采用的是十个光流（十一帧）作为一次输出
采用250view做测试
光流的问题：1.抽光流的计算很慢2.每个像素点都有光流，因此存光流需要很大的空间（将光流存成jpeg可以压缩很多但还是很大）
当一个网络解决不了问题时，可以尝试给网络加一个先验知识，可能就能解决了，也是一种多模态的使用。