Note_AGQFL: Communication-efficient Federated Learning via Automatic Gradient Quantization in Edge H

AGQFL: Communication-efficient Federated Learning via Automatic Gradient Quantization in Edge Heterogeneous Systems
Zirui Lian, Jing Cao, Yanru Zuo, Weihong Liu, Zongwei Zhu*
International Conference on Computer Design (ICCD)
CCF B 会
2021

一、动机和贡献

动机：边缘设备带宽的不同导致 ”通信异质性” 的问题，但是现阶段FL的量化却使用固定量化精度，这就导致了 “straggler” 问题。
注：straggler 问题是指，在FL同步更新策略中，通信速度慢的client会减缓全局轮数。

贡献：提出了一种 AGQFL 算法框架，用以平衡 通讯速度 和 模型收敛精度。主要包括三个模块，即：

1. quantization indicator module：设计了一种指示器，MQI，用以测量模型的 “收敛能力”，并决定后续量化精度调整方向（增加/减少）。具体来说，如果 “当前模型” 收敛能力强于 “历史模型”，那么降低量化精度以保证速度；反之，增加量化精度以保证收敛。
2. quantization strategy module：根据每个客户端的 实际设备带宽 和 模型收敛能力（MQI），给出具体调整client的量化精度的幅度。
3. quantization optimizer module：通过对 学习率 的调整，设计了新的优化器（optimizer）来进一步增加模型收敛性能。

二、算法设计

2.1 Quantization Indicator

核心思想：一般来说，随着量化精度地下降，模型的方差会逐渐增大，这就导致了训练过程中较大的梯度误差，导致模型泛化性能下降。本文设计的 Indicator 通过定义 $MQI$ 来近似模拟模型方差（即表征模型泛化能力）。通过对某个 client 的 历史模型$MQI$ 和 当前模型$MQI$ 的对比，得到模型下一步量化精度的方向（增加/减少）。
$\text{量化精度}\downarrow \Rightarrow \text{模型方差}\uparrow \Rightarrow \text{梯度误差}\uparrow \Rightarrow \text{泛化能力}\downarrow$。

$MQI$ 定义如下：
$$MQI=\frac{\Vert W{\Vert }_2}{\Vert g{\Vert }_2},$$
其中，$W$ 表示模型权重，$g$ 表示梯度值，$\Vert \cdot \Vert$ 表示2范数。如下图所示，展示了 $MQI$ 和 模型方差之间的关系。从中可以得出结论：$MQI$ 和 模型方差呈反比关系，因此可以通过 $MQI$ 表征模型泛化能力。
$MQI\uparrow \Rightarrow \text{模型方差}\downarrow \Rightarrow \text{模型泛化能力}\uparrow \Rightarrow \text{量化精度需}\downarrow$
$MQI\downarrow \Rightarrow \text{模型方差}\uparrow \Rightarrow \text{模型泛化能力}\downarrow \Rightarrow \text{量化精度需}\uparrow$

但是，直接粗略地通过 $MQI$ 的变化来决定量化方向是不太合理的。文章采用 “自适应动量估计” 的思想，即定义：
$$\begin{array}{c}\begin{array}{rl}& \text{历史}MQ{I}_t^h=\beta \ast MQ{I}_{t-1}^h+(1-\beta )\ast MQ{I}_t,\\ & \text{差值}\Delta MQ{I}_t=MQ{I}_t-MQ{I}_t^h.\end{array}\end{array}$$

2.2 Quantization Strategy

核心思想：根据client的通信带宽，定义一个概率函数 $b\sim \beta N(b_{init}^k,1)$，其中 $b_{init}^k$ 表示当前客户端最有可能选择的量化精度（谨慎远离$b_{init}$量化精度）。若 当前量化精度$b_l>b_{init}$，则采用 “慢增快降” 策略；反之，采用 “慢降快增” 策略。和 $MQI$ 结合可以描述为：
$$\begin{gathered} b_l>b_{init}\&\{\begin{array}{ll}\Delta MQ{I}_t>{\text{threhold}}_1& \Rightarrow \text{增}\uparrow \\ \Delta MQ{I}_t<{\text{threhold}}_2& \Rightarrow \text{降}\downarrow \downarrow \downarrow \end{array} \\ {b}_l<b_{init}\&\{\begin{array}{ll}\Delta MQ{I}_t>{\text{threhold}}_1& \Rightarrow \text{增}\uparrow \uparrow \uparrow \\ \Delta MQ{I}_t<{\text{threhold}}_2& \Rightarrow \text{降}\downarrow \end{array} \end{gathered}$$用一句话概括为：$MQI$决定了量化方向（增/降）；$b_{init}$决定了量化速度（快/慢）。

注：每个client的通信带宽是静态的，同时必须提前测量好，这样才能为每个client估计相应的 $b_{init}$。

具体的更新策略可以描述为：
$$\begin{array}{c}\begin{array}{rl}& \text{criterion:}||\Delta MQ{I}_t||>\alpha \ast MQ{I}_t\\ & \text{update:}{b}^k=b_l^k+\mathbf{sgn}[b_{init}^k-b_l^k]\\ & \ast \mathbf{min}[1,-sgn(\Delta MQ{I}_t)\ast \mathbf{\gamma }\ast (\mathbf{N}(b_{init}^k)-\mathbf{N}(b_l^k))]\end{array}\end{array}$$其中，$\alpha$ 表示超参；$N(\cdot )$表示基于概率的选择函数，可以保证量化精度尽可能保持到初始精度，即在$b_{init}$附近。
注：目前感觉这个公式有问题，尤其是$N(\cdot )$原文没有定义，但是公式想表达的思想是明确的。

2.3 Quantization Optimizer

核心思想：根据一个得出的结论，认为可以通过调整学习率 $\eta$ 的方式增加模型的收敛性能，降低模型误差，提高模型泛化能力。

神经网络中，通常使用如下准则定义模型的收敛性能，即：
$$R(T)=\sum _{t=1}^T(f_t(w_t)-f_t(w^{\ast }))$$其中，$T$表示训练总轮数；$w^{\ast }$表示$t$轮时理论最佳模型权重。模型收敛意味着：$\text{当}t\to \infty \text{时}，R(T)\to 0$。

Theorem 1：可以有如下结论：
$$\frac{R(T)}{T}\le \frac{D_{\infty }}{2T{\eta }_t}+\frac{D_{\infty }}{T}\sum _{t=1}^T||{\epsilon }_t||+\frac{1}{T}\sum _{t=1}^T\frac{{\eta }_t\ast S\ast ||{\epsilon }_t|{|}^2}{2\sqrt{m}}$$其中，$S$表示量化精度；$\Vert {\epsilon }_t\Vert$表示量化误差。因此可以得出：
$$R(T)\propto {\eta }_t,S,\Vert {\epsilon }_t\Vert$$而根据2.2中描述，通过控制量化精度$S$来控制量化误差$\Vert {\epsilon }_t\Vert$，因此可以通过将学习率调整为$\Vert {\epsilon }_t\Vert$的反方向（即$S$正方向）来进一步促进模型收敛。

由2.1可知，量化精度的方向是由 $MQI$ 决定的，因此优化算法如下：
$$\begin{gathered} W_{t+1}=W_t-{\eta }_t\ast {\rho }_t\ast ▽f(W_t) \\ {\rho }_t=\mu \ast cos<g_t,{\hat{g}}_t>\ast \frac{||W_t|{|}_2}{||g_t|{|}_2+wd\ast ||W_t|{|}_2} \end{gathered}$$其中，$wd$表示正则化参数；$cos<g_t,{\hat{g}}_t>$表示量化前后梯度向量的余弦相似度；$\mu$表示一个超参。

2.4 总算法流程

三、讨论

本文根据 “泛化性能（$MQI$）”来获得量化的具体方向；通过与 “期望量化精度（$b_{init}$）”比较获得量化速度。这就导致几个问题：

1. 如何事先获取模型带宽，并得到相应的 “期望量化精度（$b_{init}$）”？
2. 如果client带宽不是静态的，而是动态的，应该怎么处理？
3. 调整量化精度策略中，本质上只有 “模型泛化性能” 的因素，对于 “client带宽” 只是简单的通过概率来引入，这样做是否合理？有没有更好的方式？