联邦学习论文阅读 Federated Online Learning to Rank with Evolution Strategies

这是今年刚在WSDM上发表的一篇文章，在联邦学习的框架下考虑了实时排序算法的实现，作者将这个框架称为Federated Online Learning to Rank (FOLtR)。

code开源地址

简单摘要：
问题：我们有一个排序模型，$\theta$，和客户的交互数据a，如何在保证隐私的同时提高模型的评分$f(a;\theta )$
方法：ES策略，即每个客户探索一个新策略${\theta }_i$，根据交互数据得到一个平均的分数$f_i$，central sever根据所有用户的${\theta }_i$和$f_i$计算目标函数的梯度，用梯度下降法更新参数$\theta$
用户数据隐私性：传输种子s和评分f，s可以认为是一个N(0,$\sigma$)的随机数，所以已经是安全的，无法从这个倒推参数。对f加入随机噪声，保证了用户数据的差分隐私

---

解决什么问题？
如何在数据保存在本地的情况下，利用客户的交互数据实时优化手机上的排序模型。

本质是一个优化问题，用Evolution Strategy(ES)策略优化，用Federated Learning(FL)保护隐私

相比之前的工作创新之处？
1）之前算法都是centralized setting，这个框架下sever不知道用户的数据，保护了用户的隐私性（差分隐私）。
2）相比google的横向联邦学习框架以及后续的一些安全研究，他们多是假设攻击central sever的聚合模型获得隐私数据，作者考虑了传输信息的安全，并简单计算了他们模型的隐私保证（privacy guarantee）。

个人感觉第二点有些牵强，用DP，HE或者secured sharing的工作已经有很多了，都是对传输信息进行加密。创新的地方一是使用了FL框架，二是将ES算法嵌入这个框架内。我记得之前好像看过和这篇一样的ES推导，不过再找就找不到了，姑且认为是对opanAI那篇算法的简化吧。

框架如何实现？
客户先下载当前最新的推荐模型，经过一段时候后，对这段时间内客户的交互数据做一个平均，返回推荐模型的评分f和模型种子s给sever，sever用所有客户数据更新模型，客户再下载这个更新的模型。

计算传输的梯度值：（核心的优化问题）
这里的推导和ES算法基本是一样的。
目的是选择一个权重向量使所有客户的排序质量矩阵的平均值最大。即
$${\theta }^{\ast }=argma{x}_{\theta }F(\theta )=E_u{E}_{a|u,\theta }f(a;\theta ,u)$$
u代表客户，a代表客户的交互数据，f代表ranking quality

ES策略：
通过扰动模型内部参数, 获得多个候选模型, 最后根据回报值更新得到更好的内部参数

ES策略不只是取一个固定的$\theta$值，$\theta$由一个分布$p_{\varphi }(\theta )$生成，比如说高斯分布$p_{\varphi }(\theta )\sim N(\varphi ,$