Reading Notes of “Edge Computing Introduction Series“ (Episode one)

Reference:
《Edge Intelligence-Paving the Last Mile of Artificial Intelligence With Edge Computing》 by ZHI ZHOU , XU CHEN, Proceeding of The IEEE 2019
推荐阅读 link

0. Abstract

移动设备和物联网设备在网络的边缘能产生无数的数据，被这个趋势推动，人们迫切需要将AI前线推向网络边缘来充分释放边缘大数据的潜力。因此便诞生了边缘计算这个新型范式，它将计算任务和服务从网络核心推向网络边缘，被认为是具有前景的一种解决方式。由此产生的跨学科–边缘智能已收到大量关注。边缘智能的研究仍处于起步阶段，计算机系统和人工智能社区都迫切需要一个专门的地方来交流边缘智能的最新进展。为了这个目的，本文对边缘智能的最新研究成果进行了全面调查。首先回顾了在网络边缘运行的人工智能应用程序的背景和动机，然后提供了一个在网络边缘的深度学习模型训练/推理的总体架构、框架和出现的关键技术，最终，讨论了在边缘智能上未来的研究机遇。

1. Introduction

边缘节点的大小可以不同，从信用卡大小的计算机到带有多个服务器机架的微型数据中心，边缘计算强调的最重要特征是物理上接近信息生成源。从本质上讲，与传统的基于云的计算方式相比，在计算和信息生成源的物理接近性带来了几个好处，包括低延迟、能量高效、隐私保护、带宽占用减少、及时性和环境敏感性。

2. Primer on artificial intelligence

什么是人工智能

深度学习和深度神经网络

从深度学习到模型训练和推断

流行的深度学习模型

1. CNN
2. RNN
3. GAN
4. DRL

3. Edge intelligence

EI的目的和优点

1. 在网络边缘端生成的数据需要AI来完全释放他们的潜力
2. 边缘计算能用更丰富的数据和应用场景来使AI更加繁荣
3. AI民主的实现需要边缘计算成为关键架构
4. 边缘计算能和AI应用一起流行

EI的范围和等级

1. EI是一种范式，它在终端设备-边缘节点-云数据中心中充分挖掘可用的数据和资源，来使总体的DNN模型的训练表现和推理表现达到最优。

2. 根据数据卸载的总量和路径长度，将EI分为六个等级：

   0. 云端智能：完全在云端对DNN模型进行训练和推理
   1. Level1（Cloud-Edge Coinference and Cloud Training）： 在云端训练DNN模型，但是以边缘-云协作的方式对DNN模型进行推理。
   2. Level2（In-Edge Coinference and Cloud Training）：在云端训练DNN模型，以 in-边缘协作的方式对DNN模型进行推理。
   3. Level3（On-Device Inference and Cloud Training）：在云端训练DNN模型，但是以完全局部on-device的方式对DNN模型进行推理
   4. Level4（Cloud-Edge Cotraining and Inference）：以云-边缘 协作模式来对DNN模型进行训练和推理
   5. Level5（All In-Edge）：以in-edge方式对DNN模型进行训练和推理
   6. Level6（All On-Device）：以on-device方式对DNN模型进行训练和推理

3. EI的等级越高，数据卸载的数量和路径长度会减少，其传输延迟也会相应减少，数据隐私性增加，网络带宽成本减少。但是相应会增加计算延迟和能耗的代价

4. Edge intelligence model training

架构

1. Centralized：训练数据从分布式的终端节点手机并在云端数据中心进行模型训练
2. Decentralized：每个计算节点训练自己的DNN模型，通过节点间的交流来交换局部模型的更新
3. Hybrid ：边缘服务器既可以理用分布式更新来训练DNN模型，也可以在云端数据中心训练模型

关键性能指标

1. Training Loss
2. Convergence
3. Privacy
4. Communication Cost
5. Latency
6. Energy Efficiency

实现技术

1)、联邦学习：

1. 定义：联邦学习将原始数据分布式地留在客户端，通过聚合局部计算的更新在服务器端训练一个共享模型
2. 挑战：1）最优化，2）通讯

• 最优化 ：通过在移动设备上分布式的梯度更新来最小化共享模型的梯度
  1. FL采用了SGD
  2. 选择性SGD（SSGD）协议：它允许客户在自己的数据集上独立地训练数据，而且客户可以选择性地将自己模型的关键参数的小子集分享给中心聚合者。缺点是他没有考虑不平衡的非独立同分布数据
  3. 改进：FedAvg：迭代模型平均
• 通讯：不可靠或者不可预测的网络会造成通讯效率的挑战
  1. 结构化更新：使用较少数量的变量（例如低秩或随机掩码）从参数化的受限空间中直接学习更新。
  2. 梗概化更新：模型首先学习完整的模型更新，然后使用量化，随机旋转和子采样的组合压缩更新，然后再将其发送到服务器。

2)、聚合频率控制

3)、梯度压缩

4)、DNN分离

5)、知识迁移学习

6)、流言训练

现有系统框架的总结

1. 分布式EI模型的主要挑战是数据隐私问题
2. 相对于基于云框架下的DNN模型训练，基于边缘框架下的DNN模型训练能更多保护用户的隐私而且能更快地训练到一个可用地深度学习模型

5. Edge intelligence model inference

架构

1. Edge-Based Mode: DNN模型推理在边缘服务器完成，预测结果将返回到设备中
2. Device-Based Mode:移动设备从边缘服务器获取DNN模型，并在本地执行模型推理
3. Edge-Device Mode:设备执行DNN模型到一个特定层后将中间数据发送到边缘服务器，边缘服务器将执行剩余层并将预测结果发送到设备上
4. Edge-Cloud Mode: 设备主要负责输入数据收集，DNN模型则在边缘和云上执行

关键性能指标

1. Latency :
2. Accuracy
3. Energy
4. Privacy
5. Communication
6. Memory Foorprint

使能技术

1). 模型压缩

2). 模型划分

3). 模型早退

4). 边缘缓存

5). 输入过滤

6). 模型选择

7). 多租户支持

8). 特定应用程序优化

现有系统框架的总结

6. Future research directions

1). 编程和软件平台

当越来越多AI驱动的计算密集型移动和物联网应用程序出现后，边缘智能作为一个服务（EIaaS）可以成为一个普遍范式，具有强大边缘AI功能的EI平台将会被发展和部署。MLaaS关注于选择合适的服务器配置和以一种低代价的方式在云端训练模型，而EIaaS更多关注于如何在资源限制型和隐私敏感型的边缘计算环境中执行模型训练和推理任务。
为了完全挖掘EI服务的潜力，下面是一些挑战

1. EI 平台需要是异质兼容的
2. 能够支持在异质的分布式边缘节点上通过不同的编程框架训练出的边缘AI模型的便携性
3. 能在所有指标上表现良好的针对分布式边缘节点的编程框架。
4. 需要研究轻量级虚拟化和计算技术，如容器和函数计算，以便在资源受限的边缘环境中高效部署和迁移EI服务。

2). 资源友好边缘AI模型设计

大部分基于AI模型的深度学习都是高度资源紧张型的，这意味着丰富的硬件资源所支持的强大计算能力是这些AI模型性能的重要提升。因此，有很多研究利用模型压缩技术（如权重剪枝）来调整AI模型的大小，使它们对边缘部署更加资源友好。

3). 计算感知网络技术

非常需要计算感知性的先进网络解决方案，以便于计算结果和数据能够有效地跨不同边缘节点被共享。计算感知的通信技术开始获得关注，例如梯度编码在分布式学习中缓解离散效应，分布式随机梯度下降的空中计算，这些都对于边缘AI模型训练加速是有用的。

4). DNN模型不同性能指标之间的权衡设计

软件开发者很难为EI应用选择一个合适的DNN模型，因为这个标准性能指标不能够反映DNN模型推理上边缘设备上的实际运行性能。因此需要探索这些不同指标的权衡，帮助提升部署EI应用的效率。

5). 智能服务和资源管理

设计高效的服务发现协议是非常重要的，这样用户可以识别和定位相关的EI服务提供者，从而及时满足他们的需求。另外，为了充分利用跨边缘节点和设备的分散资源，将复杂的边缘AI模型划分成小的的子任务和有效地在边缘节点和设备中卸载这些任务，以实现协同执行是关键的。

6). 安全和隐私问题

边缘计算的开放本质就要求了去中心化的信任机制。轻量级和分布式的安全机制设计对确保用户授权，接入控制，模型和数据的完整性和相互平台对EI的确认十分重要。而且，研究新型的安全路由方法和EI服务运输可信任的网络拓扑结构也很重要。
针对隐私问题：Federated Learning 是个可行的范式对于隐私友好的分布式数据训练来说。同时为了增强数据隐私，差分隐私，同态加密，安全多方计算等工具也在被使用

7). 激励和商业模式

7. 结论