分层式个性化联邦学习建模用户

《Hierarchical Personalized Federated Learning for User Modeling》论文阅读笔记

发表在2021，WWW

1. 背景：用户建模是获得用户潜在特征的关键，在推荐系统中，用户建模可以辅助建模用户的兴趣。但通常这个过程是中心化训练的，会泄露隐私。考虑到个人数据的隐私性和敏感性，提出一些规则来限制个人数据的使用。FL可以安全分布式的建模用户，受到广泛关注。但它假设数据是独立同分布的，不同客户端简单的初始化本地模型。这些假设限制了FL去适应不同信息且异构的模型。因此，需要更好地适应联邦用户建模，处理客户端不一致的孤立场景。
2. 问题：
   （1）统计异构性：不同客户端的用户数据独立分布；
   （2）隐私异构性：用户数据包含公开和隐私数据；
   （3）模型异构性：用户本地模型是异构的，需要在服务器端灵活聚合。
3. 本文：提出一个客户端-服务器架构，分层式联邦学习（HPFL），首先利用隐私异构性定义分层信息，如公开和隐私信息，每个客户端为分层信息训练模型，训练好之后，直接上传公开部分；然后，客户端个性化的更新模型，服务器灵活聚合用户模型。（服务器加权聚合公开部分得到全局模型的公开部分，对于隐私部分，因为原始的特征保留在本地，服务器聚合本地模型的范围生成全局模型的隐私部分，而无需对特