中山大学开源VeryFL：基于区块链的联邦学习实验框架

©作者 | GTML-Lab

隐私计算、区块链已成为数据要素市场中的重要基础设施，2023年11月23日，国家数据局提出 “以数据空间、区块链、高速数据网为代表的数据流通设施打通数据共享流通堵点，以隐私计算、联邦学习等为代表的数据安全设施保障数据的安全。

VeryFL的诞生背景

联邦学习允许多个参与方在保护隐私的前提下共同训练一个全局模型，但存在单点故障、数据伪造、中心欺诈等可靠性问题，此外也存在模型窃取，盗用等侵犯训练者知识产权的行为。

学界将区块链与联邦学习结合，希望借助区块链的去中心化特性，设计可靠联邦学习算法来解决上述问题。然而，由于目前基于区块链的联邦学习实验框架缺失，许多算法难以在真实区块链环境下进行验证。同时在产业界，联合训练数据的联邦学习与促进价值流通的区块链网络也逐渐成为发挥数据价值，推进数据流通性的重要技术路径。

VeryFL简介

VeryFL (A Verifiable Federated Learning Framework Embedded with Blockchain) 是中山大学·InPlusLab·陈川课题组在上述背景下开源的一套区块链联邦学习框架，VeryFL实现了联邦学习训练的一般流程，并通过内置区块链网络为相关实验提供运行环境。

VeryFL可以快速开启一次普通的联邦学习实验流程，同时也支持智能合约的区块链开发，为区块链联邦学习的研究者提供快速测试的环境。在区块链参与的联邦学习中，区块链为联邦学习提供全流程可验证的信息记录以消除各计算节点之间的信用成本。VeryFL提供结合模型水印算法的链上模型确权作为示例，在为区块链联邦学习提供支持的同时，提出一种区块链与联邦学习结合的新思路。

VeryFL功能

在项目的github页面提供了快速启动一次联邦学习实验的示例，下面介绍该框架所实现的功能。

3.1 联邦学习建模

和其他常见的联邦学习框架一样，VeryFL框架也提供诸如FedAvg，FedProx，Moon等多种联邦学习算法和CIFAR10，CIFAR100等基准图像分类数据集，通过内置的Benchmark模块，实验者可以调整一次实验的基本参数或是直接缺省的导入参数开始一次联邦学习训练。

3.2 区块链链上算法

VeryFL框架可通过智能合约快速部署验证区块链链上算法，借助Brownie SDK，框架向上为调用者提供了可以融合PyTorch的python接口。除了在设计链上算法时需要借助Solidity实现智能合约以外，在实验环境的任何地方，都可以使用Python接口与区块链（智能合约）进行交互。区块链模块为实验者提供了一个实现链上算法的环境，通过省去区块链搭建，网络配置等繁琐操作，使得研究人员可以将重心放在链上算法的开发上。

3.3 模型确权与交易

作为区块链结合联邦学习的例子，框架基于区块链的特点与FedIPR模型水印算法实现了代币化模型的流程。通过将唯一确定训练者模型的水印信息作为Token存储在智能合约中，网络中的训练客户端可以随时确定模型的所有权（即：模型是由谁训练出来的），并在交易双方协商后进行模型所有权的交易。将AI模型代币化上联也是释放模型价值，提高参与各方积极性的重要手段。

VeryFL的架构设计

VeryFL底层基于PyTorch与Ethereum，并向上提供统一的Python接口。在联邦学习侧将训练流程模块化，方便后续拓展。在区块链侧通过智能合约与区块链交互。

▲ 图1. VeryFL的架构设计

VeryFL提供了详细的用户使用文档，如下图所示。

▲ 图2. VeryFL开源文档Github页面

VeryFL的特点

集成了区块链的联邦学习实验环境

VeryFL是搭载了区块链的联邦学习实验环境，在传统的联邦学习框架的基础上，增加了区块链的支持为相关实验提供帮助。

易于深度学习研究者调用的接口

VeryFL在与区块链的交互上仍然保持了python接口，这使得它可以与PyTorch框架共同工作。

易于扩展的模块化设计

VeryFL的各个组件间的耦合性较弱，在最大化复用代码的基础上，方便了各种联邦学习算法的扩展。

未来版本

V1.0 实现了基本的联邦学习算法与链上的智能合约策略，后续版本将把重点放在区块链智能合约端算法的实现以及区块链端的可视化上，同时会逐步增加更多经典的联邦学习算法。如果您愿意将您的联邦学习算法实现在VeryFL上，可以在Github页面上提出issue交由我们实现，或是直接提PR将您的实现merge到本项目中。

相关文献

下面几篇论文介绍了VeryFL的设计: 

[1] [整体架构] VeryFL: A Federated Learning Framework Embedded with Blockchain (Arxiv 2023)

Link: http://106.52.19.28/resource/VeryFL.pdf

[2] [模型确权] Tokenized Model: A Blockchain-Empowered Decentralized Model Ownership Verification Platform (Arxiv 2023)

Link: http://106.52.19.28/resource/Tokenized.pdf

[3] [背景] Towards Reliable Utilization of AIGC: Blockchain-Empowered Ownership Verification Mechanism (OJCS 2023)

Link:https://ieeexplore.ieee.org/abstract/document/10254223

如下的几篇论文使用了VeryFL: 

[1] A blockchain-based decentralized federated learning framework with committee consensus (IEEE Network Magazine 2020)

Link: https://ieeexplore.ieee.org/abstract/document/9293091

[2] A decentralized federated learning framework via committee mechanism with convergence guarantee (TPDS 2022)

Link: https://ieeexplore.ieee.org/document/9870745

更多阅读

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·