本文介绍了MARS和MERS两种方法，旨在通过3D CNN模拟运动流，减少光流计算的时间开销。实验表明，MARS和MERS在准确率上接近RGB+Flow，但计算效率更高。MERS需分两步训练，而MARS一步即可，表现出更好的性能。
为了解决计算光流的带来的庞大的时间开销问题，这篇论文的主旨是介绍了两种学习方法来训练一个标准的3D CNN，在RGB帧上操作，模拟运动流，从而避免在测试时进行光流计算。
可以看到下图作者给出图标，无论是MARS+RBG还是MERS+RBG，准确率和RGB+TVL1Flow差不多，但时耗小很多。
下面来介绍下MERS和MARS
MERS
MERS是我们最后需要得到的model。所以在此之前我们需要准备一个teacher和一个student(也就是MERS)，想让MERS有光流stream的能力，但只想用RGB做输入，那么只好准备好一个训练好的光流stream作为teacher教会MERS了。
文中MERS是一个由3D卷积和fc构成的network。第一步，除了最后一层fc以外，前面的所有层都参与学习光流stream，损失函数为：
f表示各自输出的特征。
训练好后，执行第二步&
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
