TPAMI 2024 | PASS: 高效设备端视频感知的块自动跳过方案

PASS: Patch Automatic Skip Scheme for Efficient On-Device Video Perception

题目：PASS: 高效设备端视频感知的块自动跳过方案

作者：Qihua Zhou; Song Guo; Jun Pan; Jiacheng Liang; Jingcai Guo; Zhenda Xu; Jingren Zhou

---

摘要

近年来，视频感知的爆炸性增长为使用视频流中的丰富内容增强多媒体娱乐、促进虚拟协作和创新工业制造提供了巨大前景。然而，在资源受限的边缘设备上实时处理视频感知任务通常面临准确性下降和硬件开销的问题，其中节省计算量是提高性能的关键。现有的方法要么依赖于特定领域的神经芯片，要么依赖于预先搜索的模型，这些都需要根据不同任务属性进行专门的优化。这些限制激发了我们设计一种通用且与任务无关的方法论，称为块自动跳过方案（PASS），它通过解耦加速和任务来支持多样化的视频感知设置。该方法的核心在于捕获帧间的相关性，并在块级别跳过冗余的计算，其中块是视觉中的一个不重叠的正方形块。PASS为每个卷积层配备了一个可学习的门控，以选择性地确定哪些块可以安全跳过，而不会降低模型的准确性。具体来说，我们是第一个构建自监督程序来优化门控的，它学习从帧序列中提取对比性表示。预训练的门控可以作为即插即用的模块来实现可跳过的神经网络骨干，并自动生成适当的跳过策略，以加速不同的基于视频的下游任务，例如，在NVIDIA Jetson Nano设备上分别实现了比最先进的Mobi