行为识别

作者：Yongcheng Jing
链接：https://www.zhihu.com/question/41068341/answer/102114782
来源：知乎
一种分类方式是将其分为两大类，一大类是基于局部描述子的statistical information的方法，像HOG3D等，这一类中目前知道的比较好的是Dense Trajectory（DT）方法，作者在这个方法上下了很大功夫，由DT方法在ICCV,CVPR,IJCV上发表了好几篇文章（文章名字都很像，都是讲DT这一个东西的，只是做了一些改进，像15年的文章里面考虑了相机抖动、用Fisher encoding代替Bag of feature以取得更好效果等），源码有提供LEAR - Improved Trajectories Video Description，我在JHMDB数据集上做过实验，效果还不错。另一大类是基于pose的行为识别方法，pose可以提取更加细节的信息，先用pose estimation方法估计pose，再从pose中提取各个关节之间的角度、距离等等作为特征。但受pose estimation准确率的影响，目前这种方法不是很常用，但实验发现在理想的pose estimation情况下这种方法准确率是很高的（高于DT），所以可能是未来行为识别领域的一个发展趋势，源码见http://jhmdb.is.tue.mpg.de/challenge/JHMDB/datasets。另外，在选择实验数据集的时候可以参考12年的CVPR Tutorial，里面详细介绍了目前的开源数据集以及截止12年各个数据集的分类准确率。

作者：水哥
链接：https://www.zhihu.com/question/33272629/answer/60163859

2010之前的都没看过，在10年左右的这几年（11,12）主要的思路有3种：
1.以所交互的物体为线索（person-object interaction），建立交互关系，如文献5,6；2.建立关于姿态（pose）的模型，通过统计姿态（或者更广泛的，部件）的分布来进行分类，如文献1,4，还有个poselet上面好像没列出来，那个用的还比较多；
3.寻找具有鉴别力的区域（discriminative），抑制那些meaningless 的区域，如文献2,7。10和11也用到了这种思想。
文献9,10都利用了SIFT以外的一种特征：color name，并且描述了在动作分类中如何融合多种不同的特征。文献12探讨如何结合上下文（因为在动作分类中会给出人的bounding box）。
比较新的工作都用CNN特征替换了SIFT特征（文献11,12,13），结果上来说12是最新的。静态图像中以分类为主，检测的工作出现的不是很多，文献4,13中都有关于检测的工作。可能在2015之前分类的结果还不够promising。现在PASCAL VOC 2012上分类mAP已经到了89%，以后的注意力可能会更多地转向检测。 视频的个别看过几篇，与静态图像相比，个人感觉最大的区别在于特征不同。到了中层以后，该怎么做剩下的处理，思路还是差的不远。

作者：Xiaolong Wang
链接：https://www.zhihu.com/question/33272629/answer/60279003
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
有关action recognition in videos, 最近自己也在搞这方面的东西，该领域水很深，不过其实主流就那几招，我就班门弄斧说下video里主流的：Deep Learning之前最work的是INRIA组的Improved Dense Trajectories(IDT) + fisher vector, paper and code: LEAR - Improved Trajectories Video Description基本上INRIA的东西都挺work 恩..然后Deep Learning比较有代表性的就是VGG组的2-stream:http://arxiv.org/abs/1406.2199其实效果和IDT并没有太大区别，里面的结果被很多人吐槽难复现，我自己也试了一段时间才有个差不多的数字。然后就是在这两个work上面就有很多改进的方法，目前的state-of-the-art也是很直观可以想到的是xiaoou组的IDT+2-stream:http://wanglimin.github.io/papers/WangQT_CVPR15.pdf还有前段时间很火，现在仍然很多人关注的G社的LSTM+2-stream: http://static.googleusercontent.com/media/research.google.com/zh-CN//pubs/archive/43793.pdf然后安利下zhongwen同学的paper:http://www.cs.cmu.edu/~zhongwen/pdf/MED_CNN.pdf最后你会发现paper都必需和IDT比，然后很多还会把自己的method和IDT combine一下说有提高 恩..