DeepDecision: A Mobile Deep Learning Framework for Edge Video Analytics

1 简介

在移动终端设备上运行视频分析应用时，如果将应用放在终端设备上执行，可能产生巨大的能耗，并且终端的计算力可能不足以支持计算密集型的深度学习应用；若将应用卸载至云端，将产生通信时延和流量费用。如何选择合适的模型，分辨率，视频比特率，帧率，应用执行位置，是移动终端在执行视频分析应用时需要考虑的问题。在本文中，作者将该问题形式化，并给出了解决该问题的算法。

2 评价指标

FPS，端到端时延，准确度，带宽消耗，电池消耗。这些指标之间会相互影响，如端到端时延会影响准确度。

3 决策变量

• 帧的分辨率：分辨率的高低直接影响计算时延，电池用量和准确度。
• 模型的选择：选择使用复杂度不同的模型，影响计算时延，电池用量和准确度。
• 计算卸载位置：将计算放在服务器上可降低终端设别的电量消耗，允许更高的帧率和分辨率，但网络时延会使终端设备得到的计算结果过时从而降低准确率。
• 帧率：仅挑选一部分帧而不是所有帧进行处理。帧率直接影响计算量。如果计算被卸载到服务器上还会影响带宽使用。
• 视频压缩：视频的压制方式，当帧率和分辨率都相同时，压制方式不同也会影响视频的大小，当计算被卸载到服务器时可降低带宽使用，降低网络时延。网络时延又直接影响了准确率。

4 方法

问题形式化：

• 优化目标为帧率和准确度之和，y为0-1向量，表示模型的选择。
• (2)计算时延=计算时延+传输时延，其中i=0的模型在服务器中执行，i>0时在终端设备上执行。
• (3)表示选择的模型的计算一帧的时延小于帧的间隔。
• (4)表示当选择在服务器上执行时，码率不能超过带宽限制。
• (5)表示耗电量不能超过预设上限。
• (6)当选择在服务器执行时，表示流量资费不能超过上限。
• (7)(8)允许用户预设帧率和准确度的下限。
• (9)表示只能选择一个模型。

作者将决策空间离散化（事先为帧率，分辨率，比特率等设置几个固定的取值），运用近似暴力的算法求解。求解时将i=0与i>0分开求解，求argmax时全部使用遍历的方式。其中bi，li，ai分别是能耗，时延，准确度的函数，这些函数没有数学解析式，需要线下实验记录数据，以表格的形式给出。

5 实验

实验分两部分：首先是测量各个指标之间的关系，包括分辨率与准确率的关系、分辨率与能耗的关系，比特率与准确率之间的关系等。然后是与各baseline方法进行比较，比较指标采用准确率。