FedSCR: Structure-Based Communication Reduction for Federated Learning阅读笔记

一、背景
由于边缘设备的发展，产生的数据越来越多，安全问题也越来越受到重视，所以具有隐私保护的联邦学习被提出。
二、创新点
它的创新点主要有两个，第一它是第一个显示non-iid数据参数更新演变工作的。文章对局部模型的参数更新进行了逐epoch的可视化，并且进行了一个新的观察，表明参数更新模式可以通过通道或过滤器聚类。第二是提出了一种用于联邦学习的减少通信量的算法(FedSCR)。与那些通过在过滤器或通道中修剪指定数量的参数来将大型网络压缩为较小网络的工作相反，FedSCR保留了整个模型，但让每个边缘客户端修剪与全局服务器通信的无关紧要的更新来减少通信开销。并进一步改进出自适应FedSCR，使边缘设备在运行时动态调整其有界阈值，以处理由non-iid数据引起的统计挑战。
三、方法
下面是文章将每个epoch的每个参数的梯度更新幅度可视化的结果图，绿色像素表示正值，红色像素表示负值。颜色越深，绝对值越大。

图2是在不同训练阶段模型第二卷积层的参数更新幅度。可以看到同一列的kernels (3x3)在同一通道中，更大的更新值(深色)是在相同的通道中，并且epoch从1到100，有几个通道的颜色在慢慢变成白色。这说明，这些参数在一个特定通道的更新模式具有相似性。故作者认为同一过滤器中的参数也有更高的可能性获得相似的参数更新模式。

图3分别比较了在IID和non-IID数据集上训练的模型的更新矩阵。可看出，用IID数据集训练的模型得到了相似的参数更新模式，图3a（VGG19-CIFAR10-IID），worker1和worker2的更新矩阵几乎相同。可以看出当一个参与者的通道/过滤器中的参数收敛时，使用相同IID数据集训练同一模型的其他参与者将有更高的概率使相同的参数收敛。在图3b中则没有这样的情况，说明使用non-iid数据集训练的模型在这种现象中表现得不太常见;因为不同参与者之间的参数更新模式是不同的。

根据前面的内容，作者提出了一种用于联邦学习的基于结构的通信缩减算法(FedSCR)。FedSCR通过聚合每一层通道和过滤器上u_k(n)的绝对值来估计参数更新的重要性，下面是它分别进行聚合的公式

算法伪代码

中心服务器对上传上来的模型更新矩阵进行了稀疏，然后聚合。边缘设备进行本地训练，且FedSCR用一个调优阈值约束过滤器和通道的更新值：若值超过阈值，就假设相应通道或滤波器中的参数更新是重要的，应该与全局服务器同步；否则，更新将被标识为不重要的，不会上传进行聚合。为了避免精度损失，文章让边缘设备独立地积累其余的梯度更新。因此，这些无关紧要的更新将随着时间的推移而累积，并最终与服务器同步。
作者提出的这种结构聚合方法，计算通道和过滤器上的累积更新，以确定每一轮通信中参数更新的重要性。这种基于结构的通信约简方法旨在减少每个边缘客户端与中心服务器之间传递的权值，提高通信效率。

在FedSCR的基础上，作者又进一步提出了自适应 FedSCR，主要是结合权重发散估计，本地更新的重要性和局部损失方差得出了自适应阈值的公式。

三、实验

为了分析阈值的影响，作者测试了模型聚合值的分布，选择了从0.1到0.9的阈值来测试算法。

图10给出了不同阈值下的测试精度曲线及相应的SCR比。
与vanilla FL相比，图10a和10c表明，FedSCR可以在可容忍的精度下降的情况下显著降低通信开销。对于VGG19CIFAR10-IID示例(图10a)，当θ设置为0.3时，在FedSCR算法下，SCR比达到了30.02%，而测试精度仅为1%。对于阈值为0.5的ResNet18-CIFAR10-IID示例(图10c)，SCR比接近75%，准确率下降3%。

表1给出了Non-iid数据集上的最佳测试精度和SCR比。
表1以VGG19-CIFAR10、ResNet18-CIFAR10和VGG19-CIFAR100为例，展示了FedSCR在Non-IID数据集上的最佳测试精度和SCR比。在大多数情况下，与vanilla FL算法相比，FedSCR在通信缩减方面取得了显著的改进。以VGG19-CIFAR10-NONIID为例，FedSCR修剪了一半以上的到中央服务器的参数更新，精度下降了近2% (θ=0.4)。
在相同配置下训练时，自适应FedSCR优于相同有界阈值下的FedSCR算法。


图10和表1比较了FedSCR和vanilla FL在相同通信轮下的性能，vanilla FL的测试精度优于FedSCR，因为它保留了整个更新后的参数。图10可以看出随着阈值大小的提高精度也在下降，因为减少了相同时间内的通信次数。
图11显示了FedSCR和vanilla FL相对于上传参数量的收敛速度。可以观察到，在不同的客户参与规模下，FedSCR能够以更少的上游通信开销达到目标精度。

文章从迭代次数和上传到全局服务器的数据量方面比较了不同压缩算法的FedSCR性能。对于STC和梯度下降方法，梯度稀疏率为10%，这意味着在每次迭代中只有最大的10%的梯度(按绝对值计算)与中央服务器同步。
图12a显示了ResNet18在CIFAR10数据集上训练的结果，可以看到FedSCR和FedAvg在non-iid设置下优于STC和Gradient Dropping，获得了更高的测试精度。由于STC方法将梯度更新压缩为稀疏三元张量，因此其曲线明显呈锯齿状。在图12b中，作者训练模型直到收敛，并给出上传数据的总量。可以看到，STC和FedSCR都可以以更少的通信成本实现目标精度。由于STC采用一位传输三进制张量，STC在前期以较小的通信预算获得了较高的精度。但FedSCR最终优于STC，在上传数据量相等的情况下，FedSCR获得了更高的测试精度。事实上，为了达到图12b所示的目标精度，STC与全局服务器的通信次数超过20000次，而FedSCR仅同步参数200次。

在non-iid数据上，自适应FedSCR同FedSCR进行比较
图13给出了ResNet18-CIFAR10-NonIID实例中自适应FedSCR的效率。图13a显示了三种情况下每个通信轮的全局测试精度:1)FedSCR下θ = 0.6, 2) FedSCR下θ = 0.9, 3)自适应FedSCR下θ = 0.9。图13b显示了作者提出的方法在这三种情况下的每一轮通信中修剪的参数总数。可以观察到三个方面:1)Adaptive FedSCR可以动态调整阈值来控制在每一轮通信中与全局服务器同步的参数数量，从而获得更好的测试精度。2)当SCR比例相近时，如FedSCR为79.70%，adaptive FedSCR为78.99%，adaptive FedSCR可以获得更好的测试精度。3)在整个训练期间，自适应FedSCR测试精度的波动比FedSCR小。在non-iid数据上，自适应FedSCR优于相同SCR比下的FedSCR。

普遍性：CMFL与FedSCR、原始CMFL和vanilla FL的比较。
如图所示，作者绘制了累积通信轮的测试精度，选择CMFL中指定的相关性阈值，分别为IID和非IID数据集的0.715和0.55。可看出采用FedSCR的CMFL优于原来的CMFL和vanilla FL。说明FedSCR具有通用性，可以很容易地应用到其他算法中，既能降低通信开销，又能保证收敛性。
四、结论
1.提出了解决通信开销和non-iid带来的统计挑战的FedSCR
2.通过实验表明，参数的更新模式可以通过过滤器或通道聚类，并显示了模型更新矩阵的稀疏性，特别是对于non-iid设置
3.引入自适应FedSCR算法
4.实证评估结果表明，提出的算法可以应用于目前比较先进的联邦学习算法，并且在IID和非IID设置下都表现良好