DeepDecision: A Mobile Deep Learning Framework for Edge Video Analytics

1 简介

在移动终端设备上运行视频分析应用时，如果将应用放在终端设备上执行，可能产生巨大的能耗，并且终端的计算力可能不足以支持计算密集型的深度学习应用；若将应用卸载至云端，将产生通信时延和流量费用。如何选择合适的模型，分辨率，视频比特率，帧率，应用执行位置，是移动终端在执行视频分析应用时需要考虑的问题。在本文中，作者将该问题形式化，并给出了解决该问题的算法。

2 评价指标

FPS，端到端时延，准确度，带宽消耗，电池消耗。这些指标之间会相互影响，如端到端时延会影响准确度。

3 决策变量

• 帧的分辨率：分辨率的高低直接影响计算时延，电池用量和准确度。
• 模型的选择：选择使用复杂度不同的模型，影响计算时延，电池用量和准确度。
• 计算卸载位置：将计算放在服务器上可降低终端设别的电量消耗，允许更高的帧率和分辨率，但网络时延会使终端设备得到的计算结果过时从而降低准确率。
• 帧率：仅挑选一部分帧而不是所有帧进行处理。帧率直接影响计算量。如果计算被卸载到服务器上还会影响带宽使用。
• 视频压缩：视频的压制方式，当帧率和分辨率都相同时，压制方式不同也会影响视频的大小，当计算被卸载到服务器时可降低带宽使用，降低网络时延。网络时延又直接影响了准确率。

4 方法

问题形式化：