最新笔记（+25)：Incentive-Boosted Federated Crowdsourcing /AAAI23

Incentive-Boosted Federated Crowdsourcing
可译为“激励推动的联合众包”

众包系统可能会通过共享员工数据导致隐私泄露。本文提出了iFedCrowd来管理众包项目的隐私和质量。iFedCrowd允许参与者本地处理敏感数据，只上传加密的训练模型，然后汇总模型参数，构建共享服务器模型，保护隐私。众包和联邦学习的区别在于数据是时常更新的。将众包和参与者之间基于激励的互动建模为Stackelberg游戏，其中每方都最大化自己的利润，推导出博弈的纳什均衡。下面是边看边记录的一点笔记，也可能有理解错的地方，建议看原文。

• 原文链接：Incentive-Boosted Federated Crowdsourcing

一、背景介绍

1.1 存在问题

• （1）如何通过贡献计算/通信资源和数据来激励客户端端参与到FL中?
• （2）FL中的安全风险和潜在威胁降低了客户端参与的积极性。
• （3）现有的研究集中在客户端贡献、声誉和资源配置驱动，目标是准确评估不同数据提供商的贡献，从而合理分配收益，但不能直接用于联合众包，主要原因为：
  • 联合众包中的工作者在训练过程中不断收集新数据来进行模型更新，动机是激励员工使用新鲜数据来更新模型。
  • 由于工作者具有高度异构资源，上传模型更新所需的时间可能会很大差异，从而导致训练任务的完成时间较长，需要考虑上传模型的时间成本。
  • 收集到的训练样本有自己的注释，其中一些可能容易出错和有噪声，潜在的恶意工作者也可能是为加速支付而提交低质量的数据，需评估不同数据提供者的数据质量。

1.2 主要内容

• （1）在game下层，根据用户的本地准确率、数据新鲜度和总完成时间来分配收益，从而鼓励用户高质量、高效率地完成协同训练任务。
• （2）在game上层，使任务发布者的效用最大化，这个效用由聚合模型获得的利润减去支付给用户的总奖励来定义。

二、具体步骤

$w$为工作者， D k = { x 1 k , . . . , x N k k } D_k=\{x^k_1,...,x^k_{N_k}\} Dk​={x1k​,...,xNk​k​}为工作者的任务集合， Y k = { y 1 k , . . . , y N k k } Y_k=\{y^k_1,...,y^k_{N_k}\} Yk​={y1k​,...,yNk​k​}为工作者对应任务的标签，$\theta$为服务器模型， { θ 1 , . . . , θ n } \{\theta_1,...,\theta_n\} {θ1​,...,θn​}为$n$个客户端模型。

2.1 协议步骤

• (1) 在底层，用户在给定的激励下独立地决定解决本地子问题的策略；任务发布者先发布客户端统一的奖励率，分配给客户端$k$的收益为
  $$v_k=r_1\cdot \frac{A_k}{T_k}+r_2\cdot F_k$$
  其中$A$为客户端模型$\theta$的准确等级，$F$为训练数据的新鲜度，$T$为本地训练和模型更新的完成时间。$r_1,r_2>0$为相关的奖励率，为了计算新鲜度，工作者记录收集数据的时间，设$g_{k(t)}$为客户端$k$在时间slot $t$的最新训练样本的生成时间，可以定义新鲜度为
  $$F_k=\frac{1}{t-g_k(t)}$$
  理性工作者会尝试提高训练数据的新鲜度，缩短完成时间，提高局部模型的精度，从而使其效用最大化。用本地数据训练全局模型给参与者带来的成本包括计算成本和通信成本：
  $$C_k=c_k^{cal}+c_k^{col}+c_k^{com}$$
  其中上面三个分别为计算开销、数据收集开销、通信开销。计算开销与精度$A$的迭代次数相关，定义为：
  $$c_k^{cal}={\gamma }_k(1+A_k)log(1+A_k)$$
  其中，$\gamma$是客户端$k$的参数选择，取决于本地数据大小和局部子问题的条件数。收集训练数据的成本与数据的新鲜度成正比。客户端收集成本定义为：
  $$c_k^{col}=e^{{\delta }_k\cdot F_k}$$
  其中，${\delta }_k>0$是客户端$k$的参数，取决于设备上传感器的性能。
  通信成本对于所有参与者是相同的，并在客户端与服务器交互以进行模型更新时产生。设$s$为模型参数的大小，总代价定义为$c^{com}=s$。根据客户端报酬和客户端成本，可将客户端效用模型定义为：
  $$u_k=r_1\cdot \frac{A_k}{T_k}+r_2\cdot F_k-C_k$$
• （2）在上层，任务发布者决定客户端的最优奖励率$r^{\ast }([r_1^{\ast },r_2^{\ast }])$，以构建高质量的模型最大化效用。任务发布者的效用可以通过最终模型性能和总完成时间来定义。因此，服务器效用模型定义为：
  $$U=\frac{1}{n}\sum _{k=1}^n(\alpha \cdot A_k+\beta \cdot F_k)-\underset{k}{\max }{T}_k-\sum _{k=1}^n(r_1\cdot \frac{A_k}{T_k}+r_2\cdot F_k)$$
  其中，$\alpha ,\beta >0$为系统参数，后面一部分是激励客户端参与FL任务花费的总成本。
  基于上面定义的博弈，使得任务发布者和参与者的效用最大化的最佳选择，推导出纳什均衡来寻求两个子博弈的最优解。

2.2 纳什均衡

定义纳什均衡$(r^{\ast },A^{\ast },F^{\ast },T^{\ast })$是纳什均衡，若它满足以下条件：
$$\begin{gathered} U(r^{\ast },A^{\ast },F^{\ast },T^{\ast })\ge U(r,A^{\ast },F^{\ast },T^{\ast }) \\ {u}_k(r^{\ast },A^{\ast },F^{\ast },T^{\ast })\ge u_k(r,A^{\ast },F^{\ast },T^{\ast }) \end{gathered}$$
对于任意的$r,A,F,T$值都满足。

• （1）底层博弈均衡：
  客户端$k$对目标精度$A_k^{\ast }$、数据新鲜度和完成时间的最佳响应表征如下：
  $$A_k^{\ast }=e^{h_k(T_k^{min})}-1,F_k^{\ast }=\frac{1}{{\delta }_k}log(\frac{r_2}{{\delta }_k}),T_k^{\ast }=T_k^{min}$$
  其中$h_k(T_k^{min})$为$\frac{r_1}{{\gamma }_k\cdot T_k^{min}}-1$。任务发布者是Stackelberg博弈中的领导者，在任何给定的合理奖励率下，可以得出参与客户端之间唯一的纳什均衡。因此，任务发布者可以通过选择最优奖励率来最大化其效用。
  $$U=\frac{1}{n}\sum _{k=1}^n(\alpha \cdot A_k^{\ast }+\beta \cdot F_k^{\ast })-\underset{k}{\max }{T}_k^{\ast }-\sum _{k=1}^n(r_1\cdot \frac{A_k^{\ast }}{T_k^{\ast }}+r_2\cdot F_k^{\ast })$$
  $U$对$r$的二阶导数满足以下条件
  $$\frac{{\partial }^{2}U}{\partial r_1^2}<0,\frac{{\partial }^{2}U}{\partial r_2^2}<0$$
  因此，任务发布者的效用是一个严格的凹函数，它有一个唯一的最大化$r$，满足
  $$\frac{\partial U}{\partial r_1}=0,\frac{\partial U}{\partial r_2}=0$$
  故存在唯一的Stackelberg博弈均衡解。若客户端不满足$A$和$F$，服务器可以根据客户端提交的实际训练策略，并重新计算最优奖励率，以达到最大利润。