跨边缘设备和云端的分布式推理

本文出自论文 Neural Networks Meet Physical Networks:Distributed Inference Between Edge Devices and the Cloud，提出来一个分布式DNN架构，学习端到端如何表示原始传感数据，很好适应传感设备和云之间不同的网络带宽。

数据收集和分配机制应当与最终的传感目标共同设计，因此我们提出来一个分布式DNN架构，它可以学习端到端如何表示原始传感数据，并通过网络发送数据，以满足最终的传感任务的需求。这样的设计可以很自然地适应传感器和云之间不同的网络带宽，并自动发送适合任务的数据特征。

---

---

一、简介

1. 分布式设备通常将它们的信息聚合在一个集中的数据中心，用于感知任务例如计算密集型映射、计算机视觉任务，或者查询经常更新的数据库例如Google图像。传感器本身越来越多地使用可在云环境中大规模运行的计算密集型神经网络（预先训练好）来执行。为了构造这样的系统，这些分布式传感设备必须要进行编码，并通过无线且带宽受限的网络来发送它们的大型输入流，在输入到预先训练过的机器学习模型之前对它们进行解码，因为它们需要原始数据。一个自然的方法是使用标准格式通过网络发送压缩视频，然后再使用一个预训练好的视觉DNN模型例如ResNet或者GoogleNet之前在云端进行解压缩。
2. 一个视觉模型所感兴趣的是视频的特定特征，而不是可能包含大量无关信息的一般场景。虽然DNNs在内容感知视频传输方面的使用在系统社区中得到了解决，但是这项工作的重点是用于人类感知的视频流，而不是自动化机器感知。由于边缘设备的多样性和感知任务的规模，我们认为数据收集和分布应该与最终的感知目标共同设计。对于分布式、网络传感设备的问题，我们称为带宽和任务感知编码，即分布式传感设备应该如何表示和压缩通过带宽受限的链接发送的数据，从而最好地实现数据中心的一个下游感知任务。
3. 我们提出了一种分布式神经网络架构，利用边缘设备上的浅层神经网络动态地压缩有用的数据，在数据中心的深层神经网络对其进行解压，并根据数据相关性向边缘编码器提供积极的反馈。我们所提出的贡献涵盖了系统和机器学习/AI研究，主要包括：系统设计（带宽和任务感知编码的架构）、带宽和任务感知训练算法。

二、动机和背景

1. 无人机目标跟踪问题：我们使用三架无人机(有着限制区域的视野)必须在数据中心使用像GoogleNet这样的预先训练过的图像分类器来跟踪一个人(抽象的说是一个红色像素)。每架无人机都有一个大型视频输入，这对于有着随机带宽的无线网络来说，视频太大而无法发送出去。因此，这必须在利用无人机有部分重叠视野这一事实的同时，有限考虑图像的哪些变化特征，从而通过高效带宽的方式来发送出去。
2. 对于视觉和控制的神经网络：CNNs已经被成功应用于计算机视觉中，我们也可以考虑使用自编码器NNs，它可以学会如何最好地编码和解码信息来最小化重建误差。DNNs可以作为解决动态控制问题的决策逻辑，这可以被表示为马尔可夫决策过程(MDPs)。求解MDP相当于找到最优控制策略：$\pi :S\to A$来最大化期待$\gamma$折扣奖励，深度强化学习(Deep RL)通过使用一个DNN来表示一个控制策略$a^t=\pi (s^t)$来近似一个MDP求解，DNN的所有参数$\theta$都通过模拟进行优化。

三、系统设计

1. 设计的主要目标：(1)传感任务可知性：为了压缩信息，边缘设备必须动态地发送重要的、快速变化的特征，这些特征是通过预训练的模型最大化一个端到端目标所必需的。(2)网络带宽可知性：由于边缘设备传感器输入数据较大，边缘设备必须动态地压缩相关信息，并考虑链路的不可靠性。(3)模块化：可允许复杂的预训练决策模型，应当适合云上软件更新而不是将改变推送到边缘设备。(4)边缘设备计算有效性：边缘编码器NNs必须要足够浅来达到内存、功耗和计算效率。
   

2. 系统架构：边缘设备可以是带有视频流输入的无人机，或者有时间序列输入的物联网传感器，总体预测目标可以被无人机或者分布式地图制作机器人所搜寻和捕捉到。系统的主要组成部分为：(1)分布式边缘编码器：对于边缘设备输入数据$x_i^t$，边缘编码器$i$必须优先考虑重要的特征，并将它们有效压缩成一个信息段$z_i^t$，再通过物理网络进行发送。

   (2)物理网络链接：关键挑战是信息$z_i^t$由于低网络通道带宽$B_i^t$不能在有限时间内被数据中心所接收到，因此关键数据可以在数据中心的下游决策有效地被“删除”掉。

   (3)集中式解码器：位于数据中心的集中式解码器必须要重构大型传感输入数据$x_i^t$，它们来自于压缩特征$z_i^t$所属的每个边缘设备，如果部分被丢弃了可以用过去的信息所代替，重构估计${\hat{x}}_i^t$应当利用边缘设备的重叠试图来考虑所丢失的特征$z_i^t$。

   (4)预训练决策模型：可以周期性提供并获得来自外部服务的软件更新(S/W)，预训练决策者并不需要是一个神经网络，可以简单输出一个预测$y=f_{pretrain}({\bar{x}}^t)$。

   (5)动态特征选择代理：解码器是一个控制器，正如一个数据驱动的强化学习agent，在每个边缘设备上选择一个行为$a_i^t$，表示优先特征来通过网络发送。解码控制策略${\pi }_{decode}$基于当前压缩输入${\bar{z}}^t$、过去的解码估计${\hat{x}}^{t-1}$和物理链接带宽的评估 B ^ t \hat B^t B^<