方法:采用
Shapley Value
——>机器学习中数值评估方案需要在所有数据集组合上训练额外的模型,计算成本很高。——>改进:使用
梯度
训练单个模型,而不是从零开始训练指数数量的模型
目的:
数据评估的高效公平
结论:
准确逼近了贡献指数,显著加快了计算速度
数据评估的高效公平才能让数据所有者愿意贡献出数据——>采用
Shapley Value
——>机器学习中数值评估方案需要在所有数据集组合上训练额外的模型,计算成本很高。——>改进:使用梯度训练单个模型,而不是从零开始训练指数数量的模型——>提出了三种评估方法——>准确逼近了贡献指数,显著加快了计算速度
实例化了从通用机器学习到联邦学习的Shapley Value,并定义了
贡献指数(CI)
,(Shapely Value一般概念的一个实例)用于评估每个数据提供者的数据集对训练全局模型的贡献——>非常耗时——>联邦学习期间
梯度在数据集的并集
上足够近似地构建在所有数据集组合上学习的模型,这是必要的数据估计。——>对数据提供者的评估只涉及对应用程序的
全球模型
进行培训,不需要对其他数据集组合进行额外的模型训练,节省了显著的计算开销。
贡献:
①实例化联邦学习的Shapely Value,并定义贡献指数(CI)来量化数据提供者在联邦学习中的贡献
②设计了三种近似算法来有效计算CIs,无需对所有数据集组合进行额外的模型训练
③验证了有效性和效率
新:
①新的有效算法TMR
②实验验证了有效性和效率
Shapely Value
在联邦学习中,我们可以将每个参与者视为一个代理,并将全局模型的准确性视为效用函数。
据此,定义Contribution Index(CI)
三种高效的CI计算:
总的想法是使用返回到服务器的参与者的梯度来近似构建基于不同数据集组合训练的模型。
①一轮重建(One-Round Reconstruction,OR)
②多轮重建(
λ-Multi-Rounds Construction,
λ-MR
)
③截短多轮结构(Truncated Multi-Rounds Construction,TMR)