Communication Efficient EdgeAI 边缘智能综述纲要

Communication-EfficientEdgeAI边缘智能综述

背景

通信问题

• 信道质量变化
• 网络阻塞
• 隐私

边缘设备问题

• 计算能力
• 存储能力(可能无法存储整个模型)
• 能量消耗、功率
• 与基站、边缘服务器的带宽有限

5G

• eMBB-增强移动宽带
• URLLC-超高可靠超低时延通信
• mMTC-海量机器类通信

模型训练

目标-减少通信开销

• 减少训练通信轮次

  • 解决方法：加速收敛

• 减少每次通信开销

  • 解决方法：信息压缩技术(稀疏化、量化)

• 提高通信速率

Edge AI 高效通信算法

零阶方法(Zeroth-Order Methods)

• 适用于只有函数值可用，但导数信息难以计算获得
• 量化-将预测的梯度值量化成较小的bits来进行通信
• 其他提高收敛速度的方法

一阶方法(First-Order Methods)

• 主要基于梯度下降法

• 随机梯度下降SGD的分布式实现

• 瓶颈：设备间通信的梯度交换

  • 解决方法①：加快学习算法的收敛速度来减少通信次数

  • 解决方法②：减少每轮的通信开销

    • 梯度复用Gradient reuse

      • 延迟聚集梯度 lazily aggregated gradient
        (LAG)

    • 梯度量化

      • 量化随机梯度下降QSGD

      • 使用1bit来量化梯度-语音DNN

      • 标量梯度量化在没有聚集节点的情况下是失败的

      • 外推压缩、差分压缩

      • 梯度矢量量化

        • 利用CNN梯度间的相关性

      • 格拉斯曼量化 Grassmannian quantization

        • 可用于分布式学习中的高维梯度压缩

      • 分位数草图

        • 用于梯度压缩的非均匀量化方法

    • 梯度稀疏化

      • 根据准则，传递重要的梯度&