【阅读笔记】Pain-FL: Personalized Privacy-Preserving Incentive for Federated Learning

前言

一篇来自 CCF A 类期刊 IEEE JOURNAL ON SELECTED AREAS IN COMMUNICA TIONS 的文章，可谓是通信领域的现象级论文，无论是其写作技巧还是论文深度一定都值得我去细心挖掘，所以我决定将这篇文章作为我毕设论文翻译任务，认真去钻研并理解，希望能够帮助我更好理解PPFL，以及为我的毕设提供更多思路和灵感。话不多说，让我们开始吧！

---

一、论文解析

Abstract

摘要部分主要阐述了当前的FL容易受到高级推理的攻击从而影响了参与方的参与意愿，所以本文作者提出了一种基于契约的个性化隐私保护激励机制——Pain-FL，它可以在保证FL模型良好收敛性的同时为具有不同隐私偏好的参与方提供定制的报酬，用来补偿隐私泄露的成本。

1. INTRODUCTION

引言部分介绍了随着大数据和互联网终端设备的发展，人工智能也达到了新的高峰，但是这也引发了一系列隐私问题。FL作为一种很有前途的分布式机器学习方法应运而生，作者首先简单介绍了FL的机制，接着表明现有的FL仍然存在着隐私泄露的风险，即使在一些隐私保护机制的作用下（如同态加密，差分隐私，安全多方计算）也有隐私泄露的可能，因为这样而导致的泄露成本会阻碍参与方的加入，所以需要一个有效的激励机制去维持。
现有的FL激励机制大多只考虑参与方的资源成本，在很大程度上忽略了由高级推理攻击导致的潜在隐私泄露所带来的成本。此外不同的参与方有着不同的隐私偏好。为了解决这些问题，本文提出了一种基于合约的联邦学习个性化隐私保护激励机制Pain-FL，它可以对不同隐私偏好的参与方提供个性化的支付，同时也能实现期望的模型学习收敛性能。具体来说，在每一轮Pain-FL中，首先在服务器上为具有不同隐私偏好的参与方在给定预算下设计一套个性化的合约，每个合约都规定了PPL，以及如果参与方采用该PPL对本地数据进行扰动将会获得的相应报酬。每个参与方都独立决定与服务器签订定制合约，接着，参与方使用从其本地训练集中随机抽样的数据计算更新从服务器下载的当前全局模型随机梯度，然后根据签署的合约中指定的PPL混淆计算出的梯度。服务器通过聚合所有参与方扰动后的随机梯度，按照梯度下降步骤更新全局模型，并将相应报酬支付给参与方。紧接着进行新的一轮迭代。
总结其贡献可归纳为四点：

• 个性化隐私保护激励机制设计。这是第一个针对联邦学习的个性化隐私保护激励机制设计的分析研究，为参与方定制个性化的隐私保护级别，明确测量并适当补偿参与方的异质性隐私成本。
• 理论分析：作者利用$\rho$-zero-concentrated差分隐私概念，基于向梯度扰动中注入高斯噪声产生的变化以及参与方的个性化隐私偏好，定量分析了每个参与方的PPL和隐私成本。作者通过聚合来自参与方的非均匀扰动随机梯度来更新全局模型，在这种情况下对强凸和非凸损失函数进行了严格的收敛分析。
• 最优合约设计：作者建立了完全/不完全信息模型下的最优合约设计问题。由于大量的约束，这些问题很难直接解决。我们确定了它们的几个固有属性，这些属性用于简化问题。我们解析导出一组最优的合约，它们可以在保证几个期望的经济特性(如预算可行性、个体理性和激励相容)的同时最大化全局模型的准确性。
• 性能评估：作者在各种模型（凸模型和非凸模型）和学习架构上（独立分布（IID）和非独立分布（Non-IID）数据的划分）对Pain-FL进行了详尽的实验评估。实验结果证明了该方法的实用性和有效性。

2. RELATED WORK

在相关工作部分，首先介绍的是为了阻止隐私攻击而使用的同态加密、安全多方计算以及差分隐私等技术，但是这些工作侧重于隐私保护本身，而对参与方参与FL任务的隐私成本没有进行明确的测量和补偿。
接着是与本文高度相关的另一项工作，基于博弈论、契约理论和拍卖理论为FL开发的一系列激励机制。比如为蜂窝无线网络中的FL开发了一种基于拍卖的激励机制，其中基站（买方）和移动用户（即卖方）之间的交互被建模为拍卖博弈，以及采用施塔克尔贝格博弈模型来激励FL参与物联网应用。尽管如此，大多数现有的FL激励机制仅仅考虑参与方的资源成本，而高级推理攻击导致的潜在隐私泄露所产生的成本在很大程度上被忽略。所以在本文中，作者开辟了一条利用契约理论为FL设计个性化隐私保护激励机制的新途径，它可以定量测量和补偿参与方在执行FL任务时产生的个性化隐私成本。在该框架中，服务器充当垄断的运营商，因为它通过为每个参与者定制一份合约来直接确立参与者的PPL和报酬。

3. PRELIMINARIES

预备知识部分介绍了联邦学习的基础知识和差分隐私。
联邦学习的基础知识主要介绍了FL的基本模型，多个参与方一个服务器的情况，通过最小化全局损失函数来达到训练模型的目的。
差分隐私介绍了($ϵ$,$\delta$)-DP和$\rho$-zCDP的定义以及满足的条件，以及两种差分隐私方法的比较，首先PPL（隐私保护水平）可以由$\rho$来衡量，较小的$\rho$意味着较高的PPL值。通过特殊值法，可以知道后者的隐私丢失概率可以是常数，而前者概率只有$\delta$，可以忽略不计。所以，我们可以说，($ϵ$,$\delta$)-DP比$\rho$-zCDP更为严格，而较为宽松的$\rho$-zCDP更适合跟踪分析迭代算法的总体隐私损失。所以本文使用的差分隐私方法是基于$\rho$-zCDP实现的。
最后还简单介绍了高斯机制的引理。

4. SYSTEM FRAMEWORK

本节通过图例分步介绍了Pain-FL实现的机制和框架，步骤如下：

1. （1） 服务器根据当前通信回合给定的预算设计一组个性化合约（每个合约都是PPL计费包），这可以优化学习性能，同时保证IR和IC特性（步骤①）。
2. 服务器向在系统中注册的参与方（即$\mathcal{M}$）发布设计的合约以及FL任务。每个参与方$m\in \mathcal{M}$自行决定与服务器签订特定合约，以最大限度发挥其作用（这将在第五节介绍）（步骤②）。
3. 每个参与方$m\in \mathcal{M}$从服务器下载最新的全局模型（步骤③）。
4. 每个参与方$m\in \mathcal{M}$从其训练数据集中随机抽样一个大小为Χm的批量数据${\mathcal{X}}_m（{\mathcal{X}}_m\subseteq {\mathcal{D}}_m）$计算当前全局模型的随机梯度（步骤④）。
5. 每个参与方$m\in \mathcal{M}$向其计算的随机梯度中注入高斯噪声，噪声的等级由签署的合约中指定的PPL确定，随后将扰动的随机梯度上传到服务器（步骤⑤）。
6. 服务器通过聚合（即平均）来自所有参与方不同类别的扰动随机梯度，按照梯度下降方法更新全局模型（步骤⑥）。
7. 在完成全局模型更新后，服务器根据签署的合约中指定的估值为每个参与方兑换报酬（步骤⑦）。
   

Pain-FL有两个关键性问题。一方面，每个参与方的个性化隐私成本应得到适当补偿。另一方面，在给定的预算下，最终学习的全局模型应达到预期的精度水平。因此，下一节分别从参与方隐私和模型收敛性能的角度进行理论分析。

5. THEORETICAL ANALYSIS: PRIVACY VERSUS CONVERGENCE PERFORMANCE

在本节中，首先定量分析了参与方PPL和隐私成本，利用了$\rho$-zCDP概念量化每个参与方的PPL，通过结合其的个性化隐私偏好来明确衡量隐私成本。这一部分用了大量的定理和推导，自然也少不了数学公式，公式过多且复杂，这里就不一一列出了，只把结论展示一下，首先是高斯噪声的方差与PPL等级的关系：${\sigma }_m^2=\frac{2L^2}{{{\rho }_{m}X}_m^2}$，${\rho }_m$是隐私保护等级，${\sigma }_m^2$是高斯噪声的方差，参与方的隐私成本与其获得的PPL有关，PPL越低（即隐私泄露程度越高），隐私成本越高。
收敛性分析部分分别从凸模型和非凸模型角度出发，同样也是大量公式，来论证全局模型的收敛性能与PPL的关系，可以得出，最终学习的全局模型的收敛性能与${\sum }_{m\in \mathcal{M}}{\sigma }_m^2$有关，这也造成了两个互相冲突的优化目标。一方面，我们的目标是最小化${\sum }_{m\in \mathcal{M}}{\sigma }_m^2$，以达到满意的模型性能。另一方面，参与方倾向注入方差较大的高斯噪声以追求更高的PPL。在下一节中，我们将介绍基于协议的激励机制，用来协调这一冲突。

6. DESIGN DETAILS OF PAIN-FL

全文最核心且复杂的一节，包含了近四十个公式，并从数学角度去分析Pain-FL的设计细节。
首先是设计目标，目标自然是为K个隐私组中的参与方推导出一组最优的协议集合，前提是满足三个特性：预算可行性、个人理性和激励相容性。接着是在不同的模型下对Pain-FL进行设计，分别是完整的信息模型和不完整的信息模型， 顾名思义，完整的信息模型是指服务器知道每个参与方的分组，即清楚每个参与方的PPL等级和隐私偏好，不完整的信息模型下，服务器只知道每个分组的分布情况，并不清楚每个参与方的PPL和隐私偏好，自然后者更符合实际应用场景。
接下来就是在完全信息模型下和不完全信息模型下对协议进行设计，中间涉及很复杂的数学公式推导，包括不等式和拉格朗日乘子，来证明设计的正确性。感兴趣的朋友可以认真钻研这一节内容。
理论部分证明结束，下一步自然是用实验来论证结论的正确性。

7. PERFORMANCE EVALUATION

性能评估部分主要是通过实验，从不同模型和学习架构角度对Pain-FL进行实验评估，并与三条基线进行了比较。

7.1 Experimental Settings

实验考虑了一个由一个中央服务器和M=100个参与方组成的FL系统。假设M=100个参与方均匀随机分布在K=100个隐私组中。作者从$\mathbb{U}(20,100)$的均匀分布中抽样每组参与方的隐私偏好，并将其按升序排序。在已经启动的FL任务的每一轮通信中，作者假设服务器有固定的预算B，用来激励参与方执行本地模型的更新。作者为预算B配置了两个选项，即B=10000和B=20000（默认）。
学习配置采用同步联邦学习方案。每个参与方在每一轮通信中只对64个数据样本进行一步本地模型更新，生成随机梯度。处于隐私考虑，每个参与方都会对公式（6）计算出的随机梯度进行干扰，其中噪声方差${\sigma }_m^2$由签订合同中规定的隐私保护等级${\rho }_m$决定。采用SGD作为优化器，并设置学习率$\eta$=0.01。在每一轮的全局模型更新中，作者随机选取50%受激励的参与方进行梯度聚合，模拟参与方不可预测退出的情况，来缓解掉队者的影响。
数据集采用标准MNIST手写数字识别数据进行实验，该数据集由60000个训练样本和10000个测试样本组成。划分方法分别采用IID和Non-IID。具体来说，对于IID的情况，数据首先被打乱，然后划分给100个参与方，每个参与方收到600个数据；对于Non-IID情况，首先按照数据标签对数据进行排序，然后将其划分为100个大小为600的分片，100个参与方中的每一个只接收一个分片。
模型的选择也分为两种，对于凸模型采用多项式Logistic回归分类器，使用softmax交叉熵作为损失函数。对于非凸模型，采用CNN，它由两个5\times5卷积层（第一层有10个通道，第二层有20个通道，每个通道后面有2\times2的最大池化层）、一个Drop-out层（0.5）、一个有120个单元的全连接层和ReLu激活函数、一个Drop-out层（0.5）、一个具有84个单元的全连接层和ReLu激活函数、一个具有10个单元的全连接层和ReLu激活函数以及一个最终的softmax输出层。
基线部分即为对照实验组，来论证Pain-FL确实能为参与方提供不同的隐私保护等级同时又不失性能。本文考虑了三个策略。

• 完全个人理性的单一合同（SC-FIR）：这一单一合同为所有参与方提供相同的报酬，这恰恰为最高隐私组的参与方提供了零效用。在这种情况下，所有隐私组的参与方都会接受合同，因为他们可以通过签署合同来获得非负效用。在SC-FIR中，所有参与方都将以最高隐私组对应的梯度扰动级别(噪声方差)参与这一轮FL。
• 半个人理性的单一合同（SC-HIR）：这个单一的合同为所有参与方提供相同的报酬，这恰恰为中间等级隐私组中的参与方提供了零效用。在这种情况下，只有低于中间等级隐私组(具有较低的隐私偏好)的参与方才会接受合同，因为他们可以通过签署合同来实现非负效用。在SC-HIR中，低于中位数隐私组的参与方将以与中间等级隐私组相对应的梯度扰动级别(噪声方差)参与这一轮FL。
• 随机个人理性的单一合同（SC-RIR）：该单一合同为所有参与方提供相同的报酬，这正好为随机选择的隐私组中的参与方提供零效用。在这种情况下，只有隐私级别较低(具有较低的隐私偏好)的参与方才会接受合同，因为他们可以通过签署合同赚取非负效用。在SC-RIR中，低于所选隐私组的参与方将以与所选隐私组相对应的梯度扰动级别(噪声方差)参与此轮FL。

7.2 Practicability

接着就是通过实验论证Pain-FL的可行性。在完全信息模型和不完全信息模型下，首先给出了为不同隐私组参与方设计的合同集合中的隐私保护等级${\rho }_k$。如图2所示，对于两种信息模型，${\rho }_k$都随着隐私组等级的增加而减小。这表明具有较高隐私偏好的参与方追求较高的PPL（即较小的${\rho }_k$）。此外，同一隐私组中的参与方在不完全信息模型下比在完全信息模型下获得更高的PPL。这是因为在不完全信息模型下，参与方与服务器之间存在信息不对称。因此，服务器需要为低隐私组的参与方提供积极的效用，以激励他们如实透露自己的隐私组。在这种情况下，如果预算固定为B，则只能设计较小的${\rho }_k$，从而为参与方提供更高的PPLs。

图2 隐私保护等级\rho_k是为不同的隐私组设计的一套合同

图3 不同隐私组中参与方的效用

IR属性。在图3中展示了不同隐私组中参与方的效用。在完全信息模型和不完全信息模型下，任意隐私组中的参与方都可以获得非负效用，从而验证了IR属性，特别是在完全信息模型下，K个隐私组中的每个参与方都可以实现零效用，因为在这种情况下，服务器知道每个参与方的精确隐私组，从而可以为每个参与方定制一个零效用合同。然而，在不完全信息模型下，只有最高隐私组的参与方实现零效用，而其他隐私组的参与方实现正效用，背后的原因还在于参与方与服务器之间存在信息不对称。

图4 参与方在签署不同合同时的效用

图5 用IID MNIST数据集和预算为20000的五种方案对LR的测试精度进行了比较

图6 五种方案在20000预算下使用IID MNIST数据集的CNN模型的测试精度比较

IC属性的证明。在不完全信息模型下，给出了图4中第3、5、7个隐私组的参与方在签署为不同隐私组是的合同时的效用。可以看出，当参与方签署为他们所属的隐私组定制的合同时，他们获得了最大的效用。并且，当不同隐私组的参与方签订相同的合同时，低隐私组的参与方获得了更高的效用。这是因为低隐私组参与方的隐私偏好较小。

7.3 Model Convergence Performance

在这一小节中，通过与上述三个单一合同基线比较，从模型测试精度角度评估Pain-FL的性能，此外还考察了一些系统设置和参数的影响。
IID实例：文章首先展示了在IID数据划分下，LR和CNN模型对于所提出的Pain-FL（完全/不完全信息）和三个单一合同基线的测试精度，作者考虑了两种不同的预算设置（即B=10000和B=20000）。注意以下将分别用Pain-FL-C和Pain-FL-IC来表示完全信息和不完全信息下的Pain-FL。
与基线的性能比较：如图5和图6所示，当B=20000时，Pain-FL-C达到了最高的测试精度，因为服务器知道每个参与方的隐私组。服务器可以最大限度地利用预算为所有类型的参与方设计和提供一个效用为零的最优合同，并激励他们在梯度上采用相对较弱的扰动水平，从而有助于提高模型精度。但是，当信息不对称时，服务器需要为那些如实报告隐私偏好的参与方牺牲一些预算，这导致参与方的PPLs较高（图2中较小的${\rho }_k$），从而略微降低模型的精度。当然，Pain-FL方案都是显著优于两个单合同基线的。

图7 对比了五种方案在10000预算下使用IID MNIST数据集的LR模型的测试精度

图8 对比了五种方案在10000预算下使用IID MNIST数据集的CNN模型的测试精度

图9 对比了在提出的Pain-FL中不同预算和信息模型下使用IID MNIST数据集的LR模型的测试精度

隐私组数量K的影响：作者研究了参与方中划分的隐私组数量K对模型性能的影响。结果如图11所示，可以看出，在给出IID训练数据和完全、不完全的信息模型下，LR模型和CNN模型的测试精度在K的变化下保持相对稳定。这是因为参与方个数恒定不变，且隐私偏好范围也是固定的。这样参与方的平均隐私保护水平$\rho$随着K的变化而产生的变化可以忽略不计。

图10 对比了在提出的Pain-FL中不同预算和信息模型下使用IID MNIST数据集的CNN模型的测试精度

图11 对比了在IID MNIST数据集下，LR和CNN在不同数量的隐私分组K中的测试精度

Non-IID实例：本小节将注意力从IID案例转移到Non-IID案例，并进行同样的一系列实验，预算为B=20000。
与基线性能的比较：如图12和图13所示，虽然数据现在在参与方中是Non-IID的，但LR和CNN模型在测试准确性方面的比较结果与IID的情况保持一致。具体地说，采用个性化合同设计的Pain-FL(C和IC)比单合同基线方法具有更高的测试精度；完全信息下的Pain-FL-C比不完全信息下的Pain-FL-IC具有更高的测试精度。
Non-IID与IID的比较：最后，文章比较了Pain-FL在参与方中IID和Non-IID数据集划分下所达到的测试精度。LR模型和CNN模型结果分别如图14和图15所示。正如预期那样，对于两种模型以及在两种信息模型（完全/不完全）下，Non-IID情况下的测试精度较低。

图12 对比了五种方案在20000预算和Non-IID MNIST数据集下，使用LR模型的测试精度

图13 对比了五种方案在20000预算和Non-IID MNIST数据集下，使用CNN模型的测试精度

图14 对比了在提出的Pain-FL中预算为20000和信息模型下，不同的数据分区（IID和Non-IID）的LR模型的测试精度

图15 对比了在提出的Pain-FL中预算为20000和信息模型下，不同的数据分区（IID和Non-IID）的CNN模型的测试精度

8. CONCLUSION

结论部分，作者首先介绍了Pain-FL的目标：为每位参与方定制报酬，作为对隐私成本的补偿，并考虑其个性化隐私偏好，同时在最终学习的全局模型中实现令人满意的模型准确性，接着简单回顾了Pain-FL的构建过程，最后通过实验论证Pain-FL的实用性和有效性。最后，作者还展望未来，指出未来工作的一个潜在方向是将对FL中搭便车攻击的防御纳入个性化隐私保护激励中。搭便车攻击是指，在FL中，工作人员假装参与窃取最终的聚合模型，而不实际提供任何数据。

二、论文总结

本文主要介绍了一种个性化隐私保护激励机制的联邦学习方法Pain-FL，它解决了当前大多数FL激励机制仅仅考虑参与方资源成本而忽略了由于高级推理攻击导致潜在隐私泄露所产生的成本的问题，文章从理论分析出发，对隐私与收敛性能的关系进行了数学分析，得出现有的两个相互冲突的目标，即一方面目标是最小化${\sum }_{m\in \mathcal{M}}{\sigma }_m^2$，以达到满意的模型性能，另一方面，参与方倾向注入方差较大的高斯噪声以追求更高的PPL。这就需要一个机制来协调这一冲突。接下来就是Pain-FL的设计细节，该部分过于硬核就不多做解释，本质就是通过一系列不等式和拉格朗日函数的推导，得出最优的合同集合，它可以最大限度地提高最终学习的全局模型$\theta$的准确性。实验部分对各种模型（凸模型和非凸模型）和学习架构（IID和Non-IID数据划分）进行了Pain-FL的实验评估，并与三条基线进行了比较，得出了最终结论：Pain-FL有很强的的实用性和有效性。

三、个人感悟

鸽了一个月的文献翻译终于在今日竣工，说实话，并没有完全理解Pain-FL的设计细节，因为太多的数学推理与公式，只能说把Pain-FL当做工具使用，理解其中的意义，但是过程就难以领悟了，需要日后大量时间的推理和钻研。
当然，虽然没能理解，但是我大为震撼，在我看来，Pain-FL是一个面向实际应用的激励机制，属于联邦学习中比较高级的内容，并且也是联邦学习落地必须跨过的坎，对于初学者的我，还是过于复杂，但是能够了解当前最前沿的技术也是足够振奋我心的。当前我的目标与任务，与这篇文献相比，还要退一大步，来到各种隐私保护算法堆叠的阶段，测试在不同隐私保护算法下FL的性能（精度与隐私是否能平衡，计算、通信成本是否能与隐私平衡等），一步一个脚印，才能有真正的进步。