《PVD-FL: A Privacy-Preserving and Verifiable Decentralized Federated Learning Framework》去中心化的联邦学习

系列文章目录

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
日益严峻的数据孤岛问题催生了一种新兴的分布式深度学习框架–联邦学习，它可以在多个参与者之间构建全局模型，而无需直接共享原始数据。

尽管联邦学习有着广阔的发展前景，但它仍然面临着隐私保护和完整性验证等安全挑战。此外，联邦学习通常在中心的协助下进行，这容易造成信任担忧和通信瓶颈。

为了解决这些问题，本文提出了一个可验证的隐私保护的去中心化联邦学习框架PVD-FL，该框架能够在去中心化架构下实现安全的深度学习模型训练。

具体而言，首先设计了一种高效且可验证的基于密码的矩阵乘法（EVCM）算法，用于执行深度学习中最基本的计算。

在此基础上，利用EVCM设计了一套分布式算法，构造了PVD-FL框架，保证了全局模型和局部更新的机密性以及每个训练步骤的验证性。

详细的安全性分析表明，PVD-FL能够很好地保护隐私，抵御各种推理攻击，并保证训练的完整性。

最后，在多个真实数据集上进行实验测试，实验结果验证了PVD-FL算法的准确性和实用性。

---

提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档

---

介绍

提示：这里可以添加本文要记录的大概内容：

FL仍然存在许多挑战。

首先，FL中存在隐私问题，因为全局模型和局部更新也可能泄露数据信息。

一方面，原始数据可以通过在几轮中观察局部更新来准确地恢复。另一方面，通过利用连续全局模型之间的差异，对手参与者也可以推断某个训练轮中的数据属性和成员关系，这极大地威胁了用户的隐私。

第二，FL中训练的完整性往往被忽视，例如，“懒惰”的参与者或中心可能由于其有限的计算资源而不完整地执行规定的协议，这将导致模型精度下降。

此外，在集中式FL中，很难判断一个中心是否可信，也很难找到一个被所有参与者信任的中心。

于在每一轮训练中，中心与所有参与者之间都要传递完整的全局模型，因此中心的通信能力也可能成为系统的瓶颈。因此，设计一个隐私保护的可验证的去中心化FL框架，既能很好地保证数据隐私（包括全局模型和局部更新的保护）和训练的完整性，又能缓解中心带来的信任担忧和通信瓶颈，是一个迫切而深远的问题。

针对上述问题，人们提出了大量的安全FL方案。基于秘密共享或同态加密，人们提出了许多安全聚集算法，并用于确保局部更新的机密性，但这些方案中仍然存在全局模型泄露的问题。基于差分隐私的方案可以通过在局部更新中添加随机噪声来隐藏单个参与者的数据信息，但其隐私保证会导致模型精度下降。
安全多方计算（MPC）技术也可以用于解决FL 中的隐私问题，但它只支持有限数量参与者的模型训练，并且会带来不可接受的通信开销。

此外，一些工作开始关注使用同态哈希函数或拉格朗日插值来验证模型聚集，最近也提出了一些分散FL方案，但仍然还没有考虑这两种方法的工作。

在本文中，提出了一个隐私保护和可验证的分散FL框架，即PVD-FL，通过该框架，可以在多个参与者之间安全地构建全局DL模型，而无需中心的帮助。

具体来说，基于一个轻量级的对称同态加密SHE，我们提出了一个有效的和可验证的基于密码的矩阵乘法（EVCM）算法，以确保训练的安全性。

然后，精心设计了一套分散算法，以实现高精度的分散模型训练。具体而言，本文的主要贡献有以下三个方面。

首先，PVD-FL保证了模型训练过程的安全性。得益于我们提出的EVCM算法，在整个训练过程中，局部更新和全局模型都是保密的，这可以严格保护数据隐私。同时，PVD-FL的每个训练步骤都是可验证的，从而确保了训练的完整性。具体地说，EVCM首先使用补码来兼顾有符号密文的打包和计算。此外，为了支持可验证计算，在每个密文封装中加入随机数。

其次，PVD-FL在分散架构下实现了高精度的DL模型训练。通过仔细利用EVCM，我们设计了一套分散的算法，包括模型初始化，模型传播，模型更新。基于此，在PVD-FL中，可以在多个连接的参与者上构建全局模型，而无需中心的帮助。此外，PVD-FL中的所有计算都不会导致模型精度下降。

第三，PVD-FL在计算成本和通信开销方面是高效的.在PVD-FL中，全局模型和局部更新均采用轻量级SHE技术加密，密文计算可以并行执行，显著降低了开销。大量的实验结果表明，PVD-FL在真实数据集上具有与集中式训练同样高的准确率，且计算和通信效率高。

本文的其余部分组织如下。在第二节中，我们定义了系统模型、安全需求和设计目标。第四章对PVD-FL进行了详细的介绍，第五章和第六章对PVD-FL进行了安全性分析和性能评估。