LAVEA: Latency-aware Video Analytics on Edge Computing

1 简介

作者研究的问题是在移动终端设备中运行视频分析应用(应用场景包括AR，无人机等)。传统的做法是将所有计算卸载到云端。作者提出了终端设备、边缘节点、云端三方协作的计算模型，并且将重点放在边缘节点上，而且允许多个边缘节点协同合作。作者将计算卸载问题归结为数学优化问题，并提出一些启发式算法求解。作者还开发了一套边缘计算的平台供不同应用运行，以优化时延。

2 背景和动机

• 边缘计算网络：终端设备通过AP与边缘服务器连接。

• 无服务器架构：又称FaaS(Function as a service)，如AWS Lambda，用户只需编写自己的应用代码而无需考虑代码在哪里执行，即无需维护自己的服务器。Lambda@Edge帮助用户在边缘服务器和云上运行代码而无需考虑具体的调度。
• 公共安全：公共场所的摄像头可以帮助寻找走失的小孩，丢失的行李，发现可以人员等。这都需要大量的计算以支持复杂的视频分析技术。

3 系统设计

LAVEA系统中主要有两个角色：

• 边缘计算节点：计算任务被提交到边缘节点，边缘节点负责管理任务的优先队列和任务调度分配。
• 边缘客户端：客户端为移动终端设备，由于计算性能限制，客户端上仅运行任务的profiler和计算卸载服务。

边缘计算服务：

• profile服务：运行在客户端上，事先使用多套配置在设备上运行一些计算任务，找到输入数据量与时延的关系，在系统运行时动态估计一个任务的消耗。
• 监视服务：系统运行时动态监测客户端到边缘计算节点的网络连接。
• offloading服务：通过解优化问题进行任务调度。跟踪任务在边缘计算节点和客户端上的运行状态，以达到最低时延。

4 卸载计算任务

• 客户端如果选择不在本地执行任务，则只会把任务发送到距离最近的边缘节点上。
• 客户端不知道边缘节点如何调度任务。
• 当没有边缘节点与客户端连接时，所有任务在客户端本地完成。

对于客户端来说，计算任务的执行有两种选择：本地执行和卸载到边缘。客户端的计算任务通常是以job为单位到达的，一般来讲一个job包含多个task。可以用一个DAG描述同一个job中task之间的关系：

 

决定任务的执行位置就变成了如何切割这个DAG图的问题，本文中切割的优化目标为最小化时延。

优化目标和限制条件的数学表达式见论文。

作者采用Sequential Quadratic Programming和branch and bound的方法求解优化问题。

终端设备决定要将哪些任务卸载到边缘节点后，边缘节点需要决定这些任务的运行顺序，任务之间不是独立的，每个任务都要等待其祖先节点任务完成并且将中间数据传递完毕时才可执行。据此作者将任务的执行分为两个阶段：等待所需数据和任务实际执行。作者采用Johnson's rules和Branch and Bound算法决定任务顺序。

5 多边缘节点协同

当某个边缘节点的负载过重，不能及时响应客户端的任务需求，该节点可以选择将任务进一步传到云端执行，但与云端的通信质量依赖于网络状况，时延可能十分不稳定。此时可以考虑将计算任务分配到其他空闲的边缘节点。但分配任务的首要目标仍是降低客户端时延而不是平衡工作负担。

当边缘节点满载时，有三种策略决定任务可以被转移到哪个边缘节点：

• 最短传输距离(STTF)：总是将任务分配给传输时延最小的节点。
• 最短队列长度(SQLF)：总是将任务分配给当前对列长度最小的节点。
• 最短调度时延(SSLF)：总是将任务分配给有最短期望响应时间的节点。响应时间是指从发送任务到收到执行结果的时间。每个边缘节点定期向其他节点发送一个空任务，边缘节点在遇到空任务时简单地发送一条消息给源节点，这样每个节点可以知道当前其他节点地响应时间。

表面上看来SSLF是一个让客户端时延尽可能小的策略，但在网络状态和其他节点的状态变动时，有时STTF和SQLF的性能会优于SSLF。作者将三种策略都实现了，在实验中比较其性能。