thormas1996的博客

这是今年刚在WSDM上发表的一篇文章，在联邦学习的框架下考虑了实时排序算法的实现，作者将这个框架称为Federated Online Learning to Rank (FOLtR)。code开源地址解决什么问题？如何在数据保存在本地的情况下，利用客户的交互数据实时优化手机上的排序模型。相比之前的工作创新之处？1）之前算法都是centralized setting，这个框架下sever不...

这是六月刚刚挂上arXiv的文章，杨老师学生的工作摘要这篇文章提出了联邦化的矩阵分解算法，作者发现传梯度也会泄露信息，所以利用同态加密来进一步保证用户数据的隐私性。框架基本框架和federated collaborative filtering那篇文章是一样的：一个标准的横向联邦框架，user vector保留在本地训练，只上传加密后的更新梯度，服务器进行汇总，然后训练product ve...

arXiv上刚刚挂的一篇文章Fair Resource Allocation in Federated Learning，作者是CMU的AP Virginia Smith组的，搜了一下主页，居然是一个超级年轻的小姐姐~Motivation之前横向联邦学习一般都是follow google的FedAvg算法，将所有用户（或者随机一部分）更新的梯度取个平均作为中心模型的更新参数。显然，这种做法虽然...

联邦学习相关的博客，论文以及PPT，持续更新个人能力有限，欢迎补充~Blog Google16年解释联邦学习用于输入预测应用的blog：Federated Learning: Collaborative Machine Learning without Centralized Training Data, 2016 杨强老师18年解释联邦学习概念的blog：CCCF专栏 | 联邦学习...

这是UIUC的一篇刚刚挂在arXiv上的文章：Asynchronous Federated Optimization。我对边缘计算和异步算法不太了解，直观的理解是作为一个user，我上传的梯度参数是延迟的，也就是说central server当前已经更新过这次的梯度了，并且已经开始计算下一次甚至下下次的global gradient了，那么我这次的参数实际上是混在其他用户下一次更新的数据中的。...

新加坡国立大学Bingsheng He老师的讲座，主要内容是如何更好构建GPU架构来加速训练ML模型以及最近对联邦学习的一些探索。现在联邦学习中保护用户隐私的算法主要是两类：一类是HE，但计算效率很低，另一类是DP，但会对模型准确率造成影响。很自然的引出一个问题，是否能换一种方法，既能够保证计算效率，又不损害模型准确率？因此他们想到可以利用LSH，将数据映射到buckets中，对一个bucket...

今年一月刚挂上arXiv的一篇联邦推荐文章Federated collaborative filtering for privacy-preserving personalized recommendation system。摘要作者将一个隐形反馈的CF模型修改成了联邦学习的框架，隐私性用Fed-Avg算法保证。总的来说，没什么创新。问题在保护用户隐私的情况下利用隐性反馈进行推荐框架...

2018年fb的文章Federated meta-learning for recommendation的阅读笔记

历史联邦学习的概念最早由google于17年提出[1]，他们构建了一个横向联邦模型用于提升用户下一步输入预测的准确性。解决的问题数据隔离少标签数据传输过程隐私安全分类横向联邦模型：用户特征一致，用户不一致纵向联邦模型：用户一致，用户特征不一致联邦迁移学习：用户，用户特征均不一致安全和隐私安全性通过同态加密HE和secret sharing解决隐私性通过查分隐私D...

总结一下元学习的概念meta-learning主要是为了解决冷启动或者数据很少的情况，它的想法是学习到任务空间中的一个最优点，这个点与所有任务的最优解是最近的，也就是说学习到一个更好的泛化模型。本质上来说，meta-learning学习的其实是模型参数的一个最优初始化参数。MAML下面这幅图比较形象地说明了MAML学习的过程：θ{\theta}θ代表一个任务模型的参数矩阵，比如说CNN的...

这篇文章是探索联邦学习的框架下的多任务学习，稍后会整理一下之前的那篇multi task learningto be continued