EVA2: Exploiting Temporal Redundancy in Live Computer Vision

最新推荐文章于 2024-04-16 17:54:57 发布

holmosaint

最新推荐文章于 2024-04-16 17:54:57 发布

阅读量688

点赞数

分类专栏： machine learning CNN object detection motion estimation

本文链接：https://blog.csdn.net/holmosaint/article/details/82747060

版权

本文介绍EVA2系统中的AMC算法，通过帧间时间冗余减少计算，预测物体移动。AMC结合temporal redundancy与incremental approximation，利用key frames和predicted frames来估算物体新位置。此外，文章提出RFBMM用于高效运动估计，自适应选择key frame以应对图像抖动。

摘要由CSDN通过智能技术生成

这篇文章提出了一种叫做activation motion compensation（AMC）的算法，类似于motion estimation的方式，运用上下帧之间的相似度来减少一些重复的计算，或者说是估计发生移动的物体的位置。

这篇文章不仅提出了软件层的算法，同时也co-design了一个能够有效运行该算法的硬件，但是这篇博客只讨论AMC算法。

说到底，该算法就是两个主要思想的结合体：1. 利用帧之间的temporal redundancy；2. 通过incremental approximation近似CNN的结果。即，AMC捕捉到input stream中的motion并且把它施加在保存好的CNN的activations中，来近似得到物体新的位置。

具体的实现思想非常简单，如下图所示。将CNN拆分成前后两个部分：prefix和suffix。挑选出一些key frames完整的经过CNN得到输出和predictions。随后的一些帧被定义为predicted frames，这些帧都不经过完整的CNN网络，通过使用key frame经过prefix得到的activations以及motion estimation得到的运动信息，整合出估计的activations（代替predicted frames经过prefix得到的activations）放进CNN的suffix得到detection的结果。