文献阅读:Long-Term Temporal Convolutions(LTC)for Action Recognition
IEEE Transactions on Pattern Analysis and Machine Intelligence 2018
task
动作识别,Action recognition, video analysis, representation learning, spatio-temporal convolutions, neural networks
提出问题:
当前用于动作识别的CNN方法通常扩展了静态图像的CNN架构,并学习1到16帧的短视频间隔的动作表示(C3D)。然而,典型的人类动作(例如握手和饮酒)以及重复性动作(例如步行和游泳)通常会持续几秒钟并跨越数十或数百个视频帧。一些动作通常包含具有特定空间和长期时间结构的特征模式。
本作者使用具有长期时间卷积 (LTC) 的神经网络来学习视频表示。证明了增加时间范围的LTC-CNN模型提高了动作识别的准确性。还研究了不同低级表示的影响,例如视频像素的原始值和光流矢量场,并证明了高质量光流估计对于学习准确动作模型的重要性。
阅读记录
文章认为不同种类的行为具有不同的时间和空间pattern,有些行为可能需要长时间的行为动态才能辨别,所以以前的将所有的视频裁剪成很多短时的视频段(16帧)并不是一种很好的方法。从而本文探索了3D卷积网络输入视频的时长对识别效果的影响,提出了 LTC 3D网络结构
和C3D很相似,网络含有5个3D卷积层,每个卷积层分别包含64,128,256,256,256个卷积核,最后包含3层全连接层,所有3D卷积核的大小为3x3x3,每一层卷积层都跟着relu激活和最大池化层,池化层的大小除了第一层为2x2x1,其余层大小都为为2x2x2,前两层全连接层后都跟着dropout。
对于16帧网络,我们从空间分辨率为171*128像素的视频中裁剪尺寸为112*112*16的输入小块。我们选择这个基线架构是为了直接与C3D进行比较。对于60帧网络,我们降低了空间分辨率以保持网络复杂性,并使用从89*67空间分辨率的视频中随机裁剪的58*58*60大小的输入块。
如图所示,我们的60f网络的时间分辨率分别对应于5个卷积层的每一个的60、30、15、7和3帧。相比之下,16f网络的时间分辨率更大幅度地降低到每个卷积层16、8、4、2和1帧(相差60/16倍)。我们认为,在更高的卷积层中保持时间分辨率应该能够学习更复杂的时间模式。
使用视频帧的原始RGB值作为输入。其中MPEG计算速度比较快,但是这种光流的空间分辨率不高。Farbeback的计算速度也挺块,但是噪声也比较大。Brox光流是目前表现最为准确的一种光流。
右边的表格显示了UCF101(拆分1)中不同输入的动作识别准确率。通过60f网络和从零开始的训练获得了结果
可以看到光流输入中Brox光流的效果最好,准确率最高,所以高质量的光流作为输入,对最终的识别率的提高还是很大的。而且所有光流输入的结果都大于RGB输入。
网络以60帧视频体积为输入,从头开始训练。我们首先观察到,即使是低质量的MPEG流也优于RGB。光流质量的提高导致了进一步的改进。使用Brox流可以使性能提高近20%。这表明,与原始像素值相比,动作识别更容易从动作中学习。
可以看到无论是RGB输入还是光流输入,60帧输入的效果都更好,文章首先验证了自己的猜想:增加输入视频的时长可以有效地提高行为识别的准确率。
表1展示了在用有限的数据量训练大型CNN时,数据增强的贡献。我们的基线使用75%重叠的滑动窗夹,在训练过程中dropout设为0.5。随机剪切的增益率为3.1%,多尺度剪切的增益率为1.6%,dropout-ratio较高的增益率为2%。当将数据增强和更高的dropout结合在一起时,UCF101 split 1上的视频分类获得了4%的增益。
表2比较了16f和60f网络在RGB和流输入以及应用在UCF101时不同的数据增强和dropout ratios的性能。我们观察到,在所有测试设置下,60f网络的长期时间卷积都得到了一致和显著的改善,当以剪辑和视频准确性衡量时。我们的60f架构显著改善了RGB和基于流的网络。正如预期的那样,由于视频评估汇总了整个视频的信息,因此对剪辑的改进更为突出。
我们对HMDB51的拆分重复了类似的实验,并在表3中报告了结果。与UCF101类似,基于流的网络具有长期的时间卷积,在剪辑和视频准确性方面显著改善了16f网络。
为了丰富实验结论,文章又做了不同输入时间长度 {20,40,60,80,100}和不同输入空间分辨率 {58x58,71x71} 的实验。
其中 H 表示高分辨率,L 表示低分辨率,可以看到,对于不同的空间分辨率,在时间长度较短的输入中,视频帧的空间分辨率越高,收益越大,但是随着输入视频帧长度的增长,这种收益变小了。文章认为是随着输入时间长度的增加,网络的参数量越来越多,所以两种分辨率都过拟合了。对于不同的时间长度输入,由上图可以看出,不论是RGB输入还是光流输入,不论是clip的准确率还是video的准确率,都是随着输入视频的长度的增加是逐渐提高的。
前面可以看到,clip或者video的平均识别率是随着输入时长的增加而增长的,那么具体到每一类行为,其准确率随着输入视频时长的增长是怎么变化的呢?文章同时挑选了几种典型行为的结果。
不存在随着视频帧长度增加而准确率单调降低的行为,但是存在先增加后减少的行为,文章认为是因为该行为的视频长度太短(只有90帧),所以在裁剪输入的时候需要首先将原视频循环到足够的长度,使行为失去了连贯性。所以对于不同类别的行为,有适合它的输入时长。
对于长时输入的效果的提升,文章认为 LTC 可以捕获不同长时行为中可分辨的行为,例如体操和标枪,都含有跑步,区分的动作在最后,所以 LTC 可以很轻松地辨别这些行为。体操和标枪的行为示意图如下图所示:
可以看到在前16帧中,两种行为都是助跑,不容易区分,而到第60帧时,我们就很容易区分两种行为了
我们观察到LTC在两个数据集上都优于2D卷积。此外,LTC Flow优于LTCRGB,尽管没有预训练。在UCF101和HMDB51数据集上,使用LTC Flow+RGB进行平均融合的结果显著优于双流平均融合基线[6],分别高出4.8和6.8%。[6]中的SVM融合基线仍然明显低于LTC Flow+RGB。总的来说,我们最好的网络LTC Flow +RGB与IDT方法的结合,在UCF101(92.7%)和HMDB51(67.2%)数据集上提供了最好的结果。值得注意的是,除了[25]研究结合RGB和流的最佳方法外,这两个结果都优于先前在这些数据集上发表的结果,因此是我们方法的补充。
密集采样DT,DT方法通过网格划分的方式在图片的多个尺度上分别密集采样特征点。提升的密集轨迹算法(IDT算法),主要改进在于对光流图像的优化,特征正则化方式的改进以及特征编码方式的改进。
FV,Fisher Vector 特征编码,本质上是用似然函数的梯度vector来表达一幅图像,这个梯度向量的物理意义就是数据拟合中对参数调优的过程。
说明
以上内容均为作者本人平时阅读并且汇报使用,内容整理全凭个人理解,如有侵权,请联系我;内容如有错误,欢迎留言交流。转载请注明出处,并附有原文链接,谢谢!
更多论文分享,请参考: 深度学习相关阅读论文汇总(持续更新)