胖胖大海的博客

温馨提示：本文仅供自己参考（勿捧杀），如有理解错误，有时间再改！时序行为检测两段式目标检测方法如Faster RCNN先使用RPN网络生成proposal，然后再使用Fast RCNN网络对proposal进行精炼，得到更加准确的结果。两段式时序行为检测方法跟两段式目标检测方法类似，先生成时序行为的proposal候选片段，然后再使用时序动作识别方法对proposal进行行为分类。所以生成的proposal的准确性严重影响时序行为检测的性能，高质量的proposal应该具备两个重要属...

开源代码：https://github.com/facebookresearch/SlowFast核心思想：论文的核心思想是在考虑计算量和准确率的折中前提下，只沿着时间维度进行扩展并不一定比沿着其他维度扩展模型效果更好，尤其在低计算量的限制下，沿着其他维度进行扩展可能准确率提升更快。X3D方法尝试从不从的维度对2D卷积进行扩展，使其适用于3D时空数据处理，扩展的维度包括时间维度大小、采样帧率、输入的分辨率大小、卷积核的数量、时间维度的卷积设置以及网络的深度。坐标下降方法参..

核心思想：Slow Path:低帧率采样，用于识别空间信息。空间语音信息变化缓慢，可以很容易通过空间信息完成类别判断，所以使用低帧率采样就可以。Fast Path:高帧率采样，用于识别运动信息。时间维度运动信息变化较快，为了捕获更强的运动上下文信息，需要使用高帧率采样。生物学启发：论文受到视觉系统的视网膜神经细胞启发，视网膜神经细胞中有80%左右的P-cells用于识别细粒度的空间信息和颜色等，同时在时间维度上具有较低的分辨率，主要致力于变换缓慢的数据信息（对应于论文中的Slow子.

核心思想：作者试图分析光流对于action recognition之所以有效的原因。作者分析了目前之所以使用光流的几种假设：假设1：对于视频分类任务，光流能更好的表达两帧之间的特征。接上的感觉是optical flow中的运动轨迹包含有用的信息，可以提升光流对于动作识别的性能。验证假设：作者通过对TSN双流网络的光流分支进行特征处理，对光流图先进行shuffle，从而打乱假设中所说的光流中包含的前后运动轨迹信息，仍然得到了较高的准确率，证明了并不是光流中包含的轨迹信息带来的性能提升。更进一步

《Large-scale Video Classification with Convolutional Neural Networks》核心思想：使用2D卷积神经网络对视频帧进行分析，为了捕获temporal维度的特征，提出了3中特征融合方法，Late Fusion，Early Fusion和Slow Fusion。为了提升训练速度，使用更低分辨率的图像进行训练。数据预处理方法：裁剪每帧图像的中间区域，然后缩放到20...