Neurosurgeon：移动边缘和云端自动划分DNN系统

本文出自于论文Neurosurgeon: Collaborative Intelligence Between the Cloud and Mobile Edge
，主要介绍了在神经网络层的粒度上自动划分移动设备和数据中心的DNN计算。

一、简介

1. 为智能化应用程序处理语音和图像输入需要精度和高度复杂的机器学习技术，其中最常见的是深度神经网络。我们研究了如何将计算推出云外并在边缘的移动设备上执行只使用云计算应用程序的所有或者部分。这项工作所要处理的主要问题包括：（1）在当今的移动平台上执行大规模智能工作负载的可行性如何？（2）在何种情况下，通过无线网络传输语音和图像数据的成本过高而无法证明云处理的合理性？（3）在为需要大量计算的智能应用程序提供处理支持方面，移动边缘应当扮演什么角色？
2. 我们发现，基于DNN拓扑结构和组成层的细粒度分层分区策略，可以实现超远端到端延迟性能和移动能源效率的计算，而不是完全在云中或完全在移动设备上执行。通过将计算推到云之外的移动设备上，我们也提高了数据中心的吞吐量，允许给定的数据中心支持更多的用户查询，并为移动设备和云系统创造了双赢的局面。
3. Neurosurgeon是一个运行时系统，跨越了云计算和移动平台，它可以自动识别DNNs中的理想分区点，并协调移动设备和数据中心之间的计算分配。它将DNN划分为多个部分，充分利用移动和云的处理能力，同时减少数据传输开销。本文的具体贡献如下&