PyTorch实现的联邦学习基线方法

本文实现的代码可点击这里查看，代码不是本人写的，主要是借鉴这个代码去初步理解联邦学习的代码实现。
前面一开始会是基本的使用，后面一部分是具体的剖析代码

基本使用

配置好环境

用conda配置好requirements.txt里的环境(此处我省去一些步骤，默认大家弄联邦学习应该有这个能力，如果你确实不会的话，可以评论区留言)
用conda搭建好一个名字为fd1的环境，先conda install python==3.8(版本太高会导致后面安装requirements里的包出错，不兼容)，然后进入到requirements.txt的文件所在文件夹，执行如下命令

(fd1) C:\Users\M\Desktop\pytorch_federated_learning-main>pip install -r requirements.txt

执行联邦学习基线

测试运行

在一个 yaml 文件中定义超参数(建议num_round改小一些，不然运行耗时长)，例如 “./config/test_config.yaml”, 然后只需用这个配置运行(我这里已经运行过一次，所以多了一些上面没有的文件夹，不用管，后面会讲的)：

python fl_main.py --config "./config/test_config.yaml"

性能评估

运行 python postprocessing/eval_main.py -rr 'results' 以绘制测试精度和训练损失随着轮数或通信轮数的增加。注意，图中的标签是结果文件的名称。

剖析代码

以下内容框架来自这篇知乎
我们讨论如何构建一个简单的联邦学习框架。联邦学习中包含一个服务器(server)和若干个客户端(clients)。

客户端

首先，我们创建一个客户端类，它至少应具备以下三个功能：

1. 加载本地数据
2. 从服务器下载更新的模型
3. 在本地数据上进行训练

针对这些功能，我们为客户端类定义了 load_trainset()、update() 和 train() 三个方法：

class FedClient(object):
    def __init__(self):
        pass

    def load_trainset(self):
        """
        Client loads the training dataset.
        """
        pass

    def update(self):
        """
        Client updates the model from the server.
        """
        pass

    def train(self):
        """
        Client trains the model on local dataset
        """
        pass

服务器端

接下来，我们创建一个服务器类，它应该具备以下功能：

1. 接收客户端上传的本地模型
2. 将这些模型进行融合

对应地，我们为服务器类定义了 rec() 和 agg() 两个方法：

class FedServer(object):
    def __init__(self):
        pass

    def agg(self):
        """
        Server aggregates models from connected clients.
        """
        pass

    def rec(self):
        """
        Server receives the local updates from the connected client k.
        """
        pass

客户端和服务端交互

基于以上思路，我们需要一个主函数描述客户端和服务器的互动。假设有两个客户端，每个客户端先更新本地模型，然后进行本地训练，并将模型传给服务器。服务器收到两个本地模型后将它们整合在一起，生成新的模型供客户端在下次通信后更新本地模型。假设我们要进行 100 次通信，我们可以编写以下代码：

# Initialize a server
fed_server = FedServer()

# Initialize two clients in a list
fed_client_list = [FedClient(), FedClient()]

n_rounds = 100
for global_round in range(1, n_rounds + 1):
    for fed_client in fed_client_list:
        fed_client.update()
        fed_client.train()
        fed_server.rec()
    fed_server.agg()
    

至此，我们已经构建了一个简单的联邦学习框架。不过，这个代码仍不能运行，接下来我们需要实现客户端和服务器之间模型的交换。