Communication-EfficientEdgeAI边缘智能综述
背景
通信问题
- 信道质量变化
- 网络阻塞
- 隐私
边缘设备问题
- 计算能力
- 存储能力(可能无法存储整个模型)
- 能量消耗、功率
- 与基站、边缘服务器的带宽有限
5G
- eMBB-增强移动宽带
- URLLC-超高可靠超低时延通信
- mMTC-海量机器类通信
模型训练
目标-减少通信开销
-
减少训练通信轮次
- 解决方法:加速收敛
-
减少每次通信开销
- 解决方法:信息压缩技术(稀疏化、量化)
-
提高通信速率
Edge AI 高效通信算法
零阶方法(Zeroth-Order Methods)
- 适用于只有函数值可用,但导数信息难以计算获得
- 量化-将预测的梯度值量化成较小的bits来进行通信
- 其他提高收敛速度的方法
一阶方法(First-Order Methods)
-
主要基于梯度下降法
-
随机梯度下降SGD的分布式实现
-
瓶颈:设备间通信的梯度交换
-
解决方法①:加快学习算法的收敛速度来减少通信次数
-
解决方法②:减少每轮的通信开销
-
梯度复用Gradient reuse
- 延迟聚集梯度 lazily aggregated gradient
(LAG)
- 延迟聚集梯度 lazily aggregated gradient
-
梯度量化
-
量化随机梯度下降QSGD
-
使用1bit来量化梯度-语音DNN
-
标量梯度量化在没有聚集节点的情况下是失败的
-
外推压缩、差分压缩
-
梯度矢量量化
- 利用CNN梯度间的相关性
-
格拉斯曼量化 Grassmannian quantization
- 可用于分布式学习中的高维梯度压缩
-
分位数草图
- 用于梯度压缩的非均匀量化方法
-
-
梯度稀疏化
- 根据准则,传递重要的梯度&
-
-