【论文阅读笔记】A joint learning and communications framework for federated learning over wireless networks

该论文荣获2023年度IEEE马可尼论文奖(Marconi Prize Paper Award) ，特记录拜读过程。

文章贡献：

• 新颖的FL模型：上行链路传输带宽有限；基站选择合适的用户；考虑数据包传输错误对模型训练的影响
• 问题描述：基站优化RB资源分配、用户优化发射功率分配，以降低用户数据包错误率，提高FL性能
• 公式推导：FL预期收敛速度闭式表达式，用于解决优化问题
• 实验验证：用户的发射功率、基站的RB分配和用户选择，以及FL学习率、批次大小对FL在无线网络的影响。

1 系统模型

$$\begin{array}{rl}& \underset{{\mathbf{w}}_1,\dots ,{\mathbf{w}}_U}{\min }\frac{1}{K}\sum _{i=1}^U\sum _{k=1}^{K_i}f\left({\mathbf{w}}_i,{\mathbf{x}}_{ik},y_{ik}\right),(1)\\ & \text{ s. t. }{\mathbf{w}}_1={\mathbf{w}}_2=\dots ={\mathbf{w}}_{\mathrm{U}}=\mathbf{g},(1a)\end{array}$$

K_i：用户i的训练数据的大小

全局模型更新：
$${\mathbf{g}}_t=\frac{{\sum }_{i=1}^U{K}_i{\mathbf{w}}_{i,t}}{K},(2)$$

2 传输模型

上行链路，OFDMA技术，每个用户占用1个RB

上行传输速率：
$$c_i^{\mathrm{U}}\left({\mathbf{r}}_i,P_i\right)=\sum _{n=1}^R{r}_{i,n}{B}^{\mathrm{U}}{\mathbb{E}}_{h_i}\left({\log }_2\left(1+\frac{P_i{h}_i}{I_n+B^{\mathrm{U}}{N}_0}\right)\right),(3)$$

$${\mathbf{r}}_i=\left[r_{i,1},\dots ,r_{i,R}\right]$$

r_i,n：表示未被分配RB，1表示用户i被分配1个RB，r_i,n对RB序列n求和等于1

B^U：每个RB的带宽

P_i：用户i的传输功率

h_i=o_id_i²：信道增益，di是距离，oi是瑞利衰落参数

E_hi：是相对于hi的期望值

I_n：其它BS对该BS中使用RB n的用户引起的干扰

N₀：噪声功率谱密度

下行传输速率：
$$c_i^{\mathrm{D}}=B^{\mathrm{D}}{\mathbb{E}}_{h_i}\left({\log }_2\left(1+\frac{P_B{h}_i}{I^{\mathrm{D}}+B^{\mathrm{D}}{N}_0}\right)\right),(4)$$

B^D：广播带宽

P_B：BS的发射功率

I^D：其它BS造成的干扰

上下行传输时延：
$$l_i^{\mathrm{U}}\left({\mathbf{r}}_i,P_i\right)=\frac{Z\left({\mathbf{w}}_i\right)}{c_i^{\mathrm{U}}\left({\mathbf{r}}_i,P_i\right)},(5)$$

$$l_i^{\mathrm{D}}=\frac{Z(\mathbf{g})}{c_i^{\mathrm{D}}},(6)$$

Z：模型参数的比特数

假设上下行传输的Z相同

3 数据包错误率

假设本地模型参数w_i 作为一个数据包上传。

循环冗余校验机制(cyclic redundancy check，CRC) 用于检查BS接收到的模型参数数据错误。

C(w_i)=0：表示BS收到的模型包含数据错误

$$q_i\left({\mathbf{r}}_i,P_i\right)=\sum _{n=1}^R{r}_{i,n}{q}_{i,n},(7)$$

$$q_{i,n}={\mathbb{E}}_{h_i}\left(1-\exp \left(-\frac{m\left(I_n+B^{\mathrm{U}}{N}_0\right)}{P_i{h}_i}\right)\right)$$

假设BS只使用正确的本地FL模型进行更新全局FL模型，传输错误时不要求重发。

全局聚合更新：
$$\mathbf{g}(\mathbf{a},\mathbf{P},\mathbf{R})=\frac{{\sum }_{i=1}^U{K}_i{a}_i{\mathbf{w}}_{i}C\left({\mathbf{w}}_i\right)}{{\sum }_{i=1}^U{K}_i{a}_{i}C\left({\mathbf{w}}_i\right)},(8)$$

$$C\left({\mathbf{w}}_i\right)=\{\begin{array}{ll}1,& \text{ with probability }1-q_i\left({\mathbf{r}}_i,P_i\right)\\ 0,& \text{ with probability }{q}_i\left({\mathbf{r}}_i,P_i\right)\end{array},(9)$$

a = [a₁,…,a_U]：用户被选择本地训练，1被选，0不被选

R = [r₁,…,r_U]：用户i是否被分配一个RB

P = [P₁,…P_U]：上行传输功率

分母是训练数据样本总数量

分析：用户i被选择可能不被分配RB，被分配RB后可能传输错误而不参与聚合，

• 被选择的用户都能被分配RB吗？如果不被分配，还被选择进行本地训练吗

  被选就会分配RB

4 能耗模型

包括本地训练能耗+上行传输能耗：
$$e_i\left({\mathbf{r}}_i,P_i\right)=\varsigma {\omega }_i{\vartheta }^{2}Z\left({\mathbf{w}}_i\right)+P_i{l}_i^{\mathrm{U}}\left({\mathbf{r}}_i,P_i\right),(10)$$

ϑ：每个用户i的中央处理器（CPU）时钟频率

ωi：用户i计算每个比特数据所需的CPU周期数，假设所有用户CPU周期数相等

ς：取决于每个用户i设备芯片的能耗系数

l_i^U：上行传输延迟

由于BS 可以持续供电，我们在优化问题中不考虑 BS 的能耗

5 问题表述

优化目标是最小化训练损失，同时考虑无线网络参数，最小化问题包括优化发射功率分配、用户的资源分配，
min ⁡ a , P , R 1 K ∑ i = 1 U ∑ k = 1 K i f ( g ( a , P , R ) , x i k , y i k ) , ( 11 )  s. t.  a i , r i , n ∈ { 0 , 1 } , ∀ i ∈ U , n = 1 , … , R ,  ( 11 a ) ∑ n = 1 R r i , n = a i , ∀ i ∈ U , ( 11 b ) l i U ( r i , P i ) + l i D ≤ γ T , ∀ i ∈ U , ( 11 c ) e i ( r i , P i ) ≤ γ E , ∀ i ∈ U ,  ( 11 d ) ∑ i ∈ U r i , n ≤ 1 , ∀ n = 1 , … , R , ( 11 e ) 0 ≤ P i ≤ P max ⁡ , ∀ i ∈ U , ( 11 f ) \begin{aligned} & \min _{\boldsymbol{a}, \boldsymbol{P}, \boldsymbol{R}} \frac{1}{K} \sum_{i=1}^U \sum_{k=1}^{K_i} f\left(\boldsymbol{g}(\boldsymbol{a}, \boldsymbol{P}, \boldsymbol{R}), \boldsymbol{x}_{i k}, y_{i k}\right),\quad(11)\\ & \text { s. t. } a_i, r_{i, n} \in\{0,1\}, \quad \forall i \in \mathcal{U}, n=1, \ldots, R \text {, } \quad(11a)\\ & \sum_{n=1}^R r_{i, n}=a_i, \quad \forall i \in \mathcal{U}, \quad(11b)\\ & l_i^{\mathrm{U}}\left(\boldsymbol{r}_i, P_i\right)+l_i^{\mathrm{D}} \leq \gamma_{\mathrm{T}}, \quad \forall i \in \mathcal{U}, \quad(11c)\\ & e_i\left(\boldsymbol{r}_i, P_i\right) \leq \gamma_{\mathrm{E}}, \quad \forall i \in \mathcal{U} \text {, } \quad(11d)\\ & \sum_{i \in \mathcal{U}} r_{i, n} \leq 1, \forall n=1, \ldots, R, \quad(11e)\\ & 0 \leq P_i \leq P_{\max }, \quad \forall i \in \mathcal{U}, \quad(11f)\\ & \end{aligned} ​a,P,Rmin​K1​i=1∑U​k=1∑Ki​​f(g(a,P,R),xik​,yik​),(11) s. t. ai​,ri,n​∈{0,1},∀i∈U,n=1,…,R, (11a)n=1∑R​ri,n​=ai​,∀i∈U,(11b)liU​(ri​,Pi​)+liD​≤γT​,∀i∈U,(11c)ei​(ri​,Pi​)≤γE​,∀i∈U, (11d)i∈U∑​ri,n​≤1,∀n=1,…,R,(11e)0≤Pi​≤Pmax​,∀i∈U,(11f)​

γ_T ：实施FL算法的延迟要求

γE ：FL 算法的能耗

用户选择向量a、RB分配矩阵R和发射功率向量P在FL训练过程中不会改变，优化后的必须满足延迟和能耗要求。

6 收敛率分析

由于全局 FL 模型的更新取决于瞬时信号干扰加噪声比（SINR），只能分析 FL 的预期收敛速率。

用户采用标准梯度下降法更新本地模型：
$${\mathbf{w}}_{i,t+1}={\mathbf{g}}_t(\mathbf{a},\mathbf{P},\mathbf{R})-\frac{\lambda }{K_i}\sum _{k=1}^{K_i}\nabla f\left({\mathbf{g}}_t(\mathbf{a},\mathbf{P},\mathbf{R}),{\mathbf{x}}_{ik},y_{ik}\right),(12)$$

λ ：学习率

全局更新：
$$F(\mathbf{g})=\frac{1}{K}\sum _{i=1}^U\sum _{k=1}^{K_i}f\left(\mathbf{g},{\mathbf{x}}_{ik},y_{ik}\right)$$

$$F_i(\mathbf{g})=\sum _{k=1}^{K_i}f\left(\mathbf{g},{\mathbf{x}}_{ik},y_{ik}\right)$$

$$g_{t+1}=g_t-\lambda \left(\nabla F\left(g_t\right)-o\right),(13)$$

$$o=\nabla F\left(g_t\right)-\frac{{\sum }_{i=1}^U{a}_i{\sum }_{k=1}^{K_i}\nabla f(\mathbf{g},{\mathbf{x}}_{ik},y_{ik})C({\mathbf{w}}_i)}{{\sum }_i^U{K}_i{a}_{i}C({\mathbf{w}}_i)}$$

一组假设：
$$\Vert \nabla F\left({\mathbf{g}}_{t+1}\right)-\nabla F\left(g_t\right)\Vert \le L\Vert g_{t+1}-g_t\Vert ,(14)$$

$$\begin{array}{r}F\left(g_{t+1}\right)\ge F\left(g_t\right)+{\left(g_{t+1}-g_t\right)}^T\nabla F\left(g_t\right)\\ +\frac{\mu }{2}\Vert g_{t+1}-g_t{\Vert }^2\end{array},(15)$$

$$\mu I⪯{\nabla }^{2}F\left(\mathbf{g}\right)⪯LI,(16)$$

$$\begin{array}{lllll}& \Vert \nabla f\left({\mathbf{g}}_t,{\mathbf{x}}_{ik},y_{ik}\right){\Vert }^2& \le & {\zeta }_1& +\\ {\zeta }_2\Vert \nabla F\left({\mathbf{g}}_t\right){\Vert }^2& \text{with}& {\zeta }_1,{\zeta }_2\ge 0.& & \end{array},$$

定理1：损失函数与最优值的差值上界
$$\begin{array}{rl}\mathbb{E}\left(F\left({\mathbf{g}}_{t+1}\right)-F\left({\mathbf{g}}^{\ast }\right)\right)& \le A^t\mathbb{E}\left(F\left({\mathbf{g}}_0\right)-F\left({\mathbf{g}}^{\ast }\right)\right)\\ & +\underset{\text{Impoct of wineless faclors on FL convergence}}{\underbrace{\frac{2{\zeta }_1}{LK}\sum _{i=1}^U{K}_i\left(1-a_i+a_i{q}_i\left({\mathbf{r}}_i,P_i\right)\right)\frac{1-A^t}{1-A}}},(17)\end{array}$$
根据定理1，得出命题1：
$$0<{\zeta }_2<\frac{K}{\underset{P,R}{\max }4\sum _{i=1}^U{K}_i{q}_i\left({\mathbf{r}}_i,P_i\right)},(18)$$
根据定理1，得出引理1：
$$\mathbb{E}\left(F\left({\mathbf{g}}_{t+1}\right)-F\left({\mathbf{g}}^{\ast }\right)\right)\le {\left(1-\frac{\mu }{L}\right)}^t\mathbb{E}\left(F\left({\mathbf{g}}_0\right)-F\left({\mathbf{g}}^{\ast }\right)\right),(19)$$

7 训练损失优化

优化问题转换为：
min ⁡ P , R ∑ i = 1 U K i ( 1 − ∑ n = 1 R r i , n + q i ( r i , P i ) ) , (21) s .   t . ( 11 c ) − ( 11 f ) , r i , n ∈ { 0 , 1 } , ∀ i ∈ U , n = 1 , … , R , (21a) ∑ n = 1 R r i , n ≤ 1 , ∀ i ∈ U . (21b) \begin{aligned} &\min_{P,R} \sum_{i=1}^{U}K_{i}\left(1-\sum_{n=1}^{R}r_{i,n}+q_{i}\left(r_{i},P_{i}\right)\right), && \text{(21)} \\ &\mathrm{s.~t.} (11\mathrm{c})-(11\mathrm{f}), \\ &r_{i,n}\in\left\{0,1\right\},\quad\forall i\in\mathcal{U},n=1,\ldots,R,&& \text{(21a)} \\ &\sum_{n=1}^{R}r_{i,n}\leq1,\forall i\in\mathcal{U}.&& \text{(21b)} \end{aligned} ​P,Rmin​i=1∑U​Ki​(1−n=1∑R​ri,n​+qi​(ri​,Pi​)),s. t.(11c)−(11f),ri,n​∈{0,1},∀i∈U,n=1,…,R,n=1∑R​ri,n​≤1,∀i∈U.​​(21)(21a)(21b)​

7.1 优化传输功率

命题2：用户i的最佳发射功率
P i ∗ ( r i ) = min ⁡ { P max ⁡ , P i , γ E } , ( 22 ) P_{i}^{*}\left(\boldsymbol{r}_{i}\right)=\min{\{P_{\max},P_{i,\gamma_{\mathrm{E}}}\}},\quad(22) Pi∗​(ri​)=min{Pmax​,Pi,γE​​},(22)

$$\varsigma {\omega }_i{\vartheta }^{2}Z\left({\mathbf{w}}_{\mathbf{i}}\right)+\frac{P_{i,{\gamma }_{\mathrm{E}}}Z({\mathbf{w}}_{\mathbf{i}})}{c_i^{\mathrm{U}}\left({\mathbf{r}}_{\mathbf{i}},P_{i,{\gamma }_{\mathrm{E}}}\right)}={\gamma }_{\mathrm{E}}$$

分析：最佳发射功率取决于本地模型大小和每个RB中的干扰情况。

7.2 优化上行RB分配

基于命题2最佳发射功率和数据包错误率（7)，问题21转换为 优化问题：
$$\begin{array}{rlrl}& \underset{R}{\min }\sum _{i=1}^U{K}_i\left(1-\sum _{n=1}^R{r}_{i,n}+\sum _{n=1}^R{r}_{i,n}{q}_{i,n}\right),& & \text{(23)}\\ & s.t.(21a),(21b),\mathrm{and}(11e),& & \\ & l_i^{\mathrm{U}}({\mathbf{r}}_i,P_i^{\ast })+l_i^{\mathrm{D}}\le {\gamma }_{\mathrm{T}},\forall i\in \mathcal{U},& & \text{(23a)}\\ & e_i\left({\mathbf{r}}_i,P_i^{\ast }\right)\le {\gamma }_{\mathrm{E}},\forall i\in \mathcal{U}.& & \text{(23b)}\end{array}$$
使用双匹配算法解决问题23，相比于传统凸优化算法，既不需要计算每个变量的梯度，也不需要动态调整步长以实现收敛。

先将问题23转换为双匹配问题。

构建一个双方图
$$\mathcal{A}\doteq (\mathcal{U}\times \mathcal{R},\mathcal{E})$$

U：一个顶点代表一个用户

R：一个顶点代表一个RB

E：代表边

$${\chi }_{in}\in \mathcal{E}$$

1：表示RB n被分配给了用户i

假设 T 是E中的一个边子集，没有两条边共享R中的一个共同顶点，保证每个RB只能分配给一个用户；没有边共享U中的顶点，保证一个用户只能占用一个RB。

• bipartite matching algorithm [33]

边的权重等于X_in：
$${\psi }_{in}=\{\begin{array}{ll}{K}_i\left(q_{i,n}-1\right),l_i^{\mathrm{U}}\left(r_{i,n},P_i^{\ast }\right)+l_i^{\mathrm{D}}\le {\gamma }_{\mathrm{T}}\text{and}& \\ e_i\left(r_{i,n},P_i^{\ast }\right)\le {\gamma }_{\mathrm{E}},& \\ 0,& \text{otherwise}.\end{array}(24)$$

当延迟和能耗不满足要求时，值为0，表示RB n不会分配给用户i

标准的匈牙利算法可用来找到最有匹配集T*，找到该集合就能确定RB最佳分配。

当最优RB分配 r_i*确定后，每个设备的最佳发射功率通过(22）确定，

23是基于22，23计算出来RB分配后的Pi不一定小于等于P_max，因此还需要根据22进行计算

算法1：

1、根据（17）分析FL预期收敛性

2、利用 (22) 求出每个用户在每个 RB 上的最佳发射功率

3、使用标准匈牙利算法和 (24) 求解优化问题 (23)

• Hungarian algorithm [34] 具体原理还不懂，但可以直接用

4、使用最优 RB 分配矩阵 R∗、用户选择向量 a∗ 和发射功率向量 P∗ 实现 FL 算法。

备注：学习记录，仅供参考

开源代码：https://github.com/mzchen0/Wireless-FL
参考文献：
[1] Chen M, Yang Z, Saad W, et al. A joint learning and communications framework for federated learning over wireless networks[J]. IEEE Transactions on Wireless Communications, 2020, 20(1): 269-283.