作者 | Justin Patriquin
译者 | 孙薇
编辑 | 夕颜
出品 | AI科技大本营(ID: rgznai100)
【导读】作为一种无需聚合集中数据便可训练模型的方式,联邦学习(FL)近几年来受到了广泛关注。这种技术最初由谷歌投入生产环境,用于开发、训练及不断改进安卓的预测输入法——GBoard。
传统来说,训练模型需要数据科学家能直接访问集中式数据集。如果某个数据集分散且数据敏感的话,聚合数据并训练将无法完成。举例来说,对于GBoard,聚合数据需要谷歌能直接访问所有用户的每个击键操作,但对于许多人来说,这是对其隐私权的侵犯;同时可能会导致谷歌错误地收集用户密码、信用卡号及用户所输入的其他敏感文本。而联邦学习仅共享模型的更新,而不是训练模型的数据,极大缓解了这一问题。
联邦学习需要模型所有者先将机器学习模型发送给每个数据所有者。数据所有者,即每台手机会使用本地数据运行训练算法的初始步骤,而训练算法则根据输入与预期输出结果来确定对模型的更新方式。这些模型更新会再发回模型所有者方,并进行汇总。当训练算法(例如随机梯度下降算法)达到局部最优权重时,更新汇总结束。
![9359f15c0e54cf67686ebb9f08330cc5.gif](https://i-blog.csdnimg.cn/blog_migrate/194973ae9867d442dfce3fc57ee6dd2b.gif)
然而,联邦学习并非完整的数据隐私解决方案,它无法确保在更新共享