论文《Privacy-Preserving Federated Deep Learning with Irregular Users》实验部分

实验表明,PPFDL在迭代次数超过3时,其精度优于OFL,即使面对25%的不规则数据,也能保持稳定。与SecProbe和OFL相比,PPFDL在用户数量增加时精度更高,且计算和通信开销较低。PPFDL通过MethIU确保了高质量用户对模型的贡献,而SecProbe因使用差异隐私技术导致精度受限。
摘要由CSDN通过智能技术生成

5.1 Functionality

5.2 Accuracy

5.2.1 Effect of iteration times with different proportions of irregular data

我们首先讨论了加密方法中迭代次数的影响。如第3.3节和第4.3节所述,我们知道在PPFDLbscand PPFDLimd的初始化过程中,xm的值∗在第一次迭代中使用的每个梯度m都需要初始化。Works[25]给出了每个梯度xm∗可以初始化为第m个梯度上所有用户总和的平均值。然而,由于每个用户持有的数据质量不同,这种方法存在错误。幸运的是,工作[25]表明,两台服务器之间的多次迭代可以降低错误率。

另一方面,系统中不规则数据的比例也会影响模型的准确性。直观地说,系统中拥有高质量数据的用户越多,模型的准确性就越好。

为了观察PPFDL在这些变量下的准确性,我们进行了实验来记录数据。

图7显示了不同迭代次数下的精度比较,其中OFL[28]是在明文环境中执行学习的原始模型。(OFL和PPFDL的比较)

(结果)我们可以观察到,只要迭代次数超过某个阈值(如3),PPFDL的精度就明显高于OFL。此外,当P的比例达到25%时,OFL的准确度下降很快(都到70以下了),而PPFDL的准确度变化很小。

(原因)这主要是由于我们的MethIU的优越性,它通过将高可靠性分配给持有高质量数据的用户,保证了高质量用户贡献的聚合结果。

5.2.2 不同比例的不规则数据对N的影响

接下来,我们分析参与培训的用户数量N的影响。

如前所述,Zhao等人[14]提出了SecProbe,这是第一个与不规则参与者合作的隐私保护合作深度学习,它利用基于隐私的差异技术来干扰目标DNN的目标函数,并声称SecProbe可以确保准确性和安全性之间的良好平衡。

因此,为了使实验结果更具说服力,我们还进行了与SecProbe的精度比较实验。

(实验设置)

实现SecProbe的实验配置如下ÿ

Privacy-preserving machine learning is becoming increasingly important in today's world where data privacy is a major concern. Federated learning and secure aggregation are two techniques that can be used to achieve privacy-preserving machine learning. Federated learning is a technique where the machine learning model is trained on data that is distributed across multiple devices or servers. In this technique, the model is sent to the devices or servers, and the devices or servers perform the training locally on their own data. The trained model updates are then sent back to a central server, where they are aggregated to create a new version of the model. The key advantage of federated learning is that the data remains on the devices or servers, which helps to protect the privacy of the data. Secure aggregation is a technique that can be used to protect the privacy of the model updates that are sent to the central server. In this technique, the updates are encrypted before they are sent to the central server. The central server then performs the aggregation operation on the encrypted updates, and the result is sent back to the devices or servers. The devices or servers can then decrypt the result to obtain the updated model. By combining federated learning and secure aggregation, it is possible to achieve privacy-preserving machine learning. This approach allows for the training of machine learning models on sensitive data while protecting the privacy of the data and the model updates.
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值