联邦推荐系统相关论文创新点总结

FD-GATDR: A Federated-Decentralized-Learning Graph Attention Network for Doctor Recommendation Using EHR

本文的主要内容是基于电子健康记录(EHR)构建了一个医生推荐系统。该系统通过分析患者的EHR历史,提供个性化的医生推荐,以改善医疗系统的运行效率和发展远程医疗服务。为了解决数据异构性和数据隐私的挑战,文中提出了一个基于图注意力网络的分布式学习算法。该算法通过构建一个包含不同类型节点和边的异构图,从EHR数据中提取结构化信息,并在保护数据隐私的前提下进行模型训练和推荐。

本文最主要的创新点是什么?

1.提出了一种联邦去中心化学习图注意网络(FD-GATDR),用于基于电子健康记录(EHR)的医生推荐,该网络能够提取EHR数据中的异构结构信息,以提高推荐性能。
2.在FD-GATDR中,提出了一种异构图注意网络(HGAT),考虑了时间敏感性和节点异构性,以更好地表示患者、医生和服务。
3.针对医院之间数据共享的隐私问题,提出了一种联邦去中心化学习算法,以满足隐私要求,同时提高客户端模型的性能。
4.通过实验证明,所提出的图模型可以比其他基线模型实现更好的性能。同时,联邦去中心化学习算法可以实现与全局训练相当的性能。

FedRule: Federated Rule Recommendation System with Graph Neural Networks

本文主要介绍了一种基于图神经网络的联邦规则推荐系统,针对智能物联网系统中规则推荐问题提出了一种新的解决方案。文章首先介绍了传统的规则推荐系统存在的问题,包括隐私和安全问题,以及传统推荐系统无法充分考虑实体结构的局限性。然后提出了基于图结构的规则推荐系统,并介绍了联邦学习在规则推荐中的应用。最后,对提出的方法进行了实验评估,展示了其在智能家居规则数据集上的有效性。

本文最主要的创新点是什么?

  • 提出了一种新的基于图结构的规则推荐框架——GraphRule,使用图的形式表示用户的多个实体(例如智能设备)及其之间的关联规则,而不是传统的用户-项目矩阵。
  • 提出了一种有效的联邦学习系统——FedRule,可以在保护用户数据隐私的情况下,从有限的非独立同分布(Non-IID)数据中快速收敛并学习到有用的规则推荐模型。
  • 通过广泛的实证研究,证明了所提议的GraphRule结构和FedRule算法的有效性。FedRule算法能够达到与集中式版本(GraphRule)相同的性能,这归功于其减小方差的机制。

FedGR: Federated Graph Neural Network for Recommendation Systems

本文主要介绍了一种名为FedGR的推荐系统框架,该框架基于社交推荐、图神经网络和隐私保护推荐领域的研究,并提出了一种新的联邦学习算法来处理推荐系统中的隐私保护问题。该框架结合了用户行为数据和社交关系信息,利用图神经网络学习用户和物品的向量表示,并通过联邦学习算法实现模型参数的聚合和更新。作者还介绍了FedGR中的一些关键算法和模块,以及对一些超参数进行了分析和实验验证。

本文最主要的创新点:

  • 提出了一种联邦图神经网络推荐系统(FedGR),将图神经网络(GNN)、联邦学习和隐私保护技术相结合,提高了推荐性能。
  • 在用户模型中,引入了图注意网络(GAT)辅助用户从社交关系图和历史项目图中学习隐式向量表示。
  • 为了保护数据隐私,采用了灵活的数据隐私保护方法,结合了传统密码加密技术和所提出的“噪声注入”策略,使FedGR在确保数据隐私的同时最大程度地减少了推荐性能的损失。
  • 展示了一种在联邦学习范式下的推荐模型不同学习范式。

这些创新点使得FedGR在两个公开可用的流行数据集上验证,实验结果表明,与以前的工作相比,FedGR减少了MAE和RMSE,证明了其合理性和有效性。

FedRecAttack: Model Poisoning Attack to Federated Recommendation

本文介绍了一种针对联邦推荐系统的模型污染攻击——FedRecAttack,该攻击利用公共交互信息来近似用户特征向量,进而生成恶意梯度并控制恶意用户上传到中央服务器。攻击旨在提高目标项目的曝光率,本文在三个真实数据集上进行了广泛的实验来评估FedRecAttack的有效性和副作用,结果表明FedRecAttack取得了最先进的有效性,副作用可以忽略。

本文最主要的创新点:

  • 提出了FedRecAttack,这是一种针对联邦推荐(FR)的模型投毒攻击,旨在提高目标项目的曝光率。通过利用公共交互来近似用户的特征向量,从而生成投毒梯度并控制恶意用户上传投毒梯度。
  • 通过在三个来自两个完全不同场景的真实世界数据集上进行大量实验,评估了FedRecAttack的有效性和副作用。实验结果表明,所提出的FedRecAttack具有最先进的有效性,而其副作用可以忽略不计。
  • 即使恶意用户比例(3%)和公共交互比例(1%)较小,FedRecAttack仍然非常有效,这表明FR比通常认为的更容易受到攻击。

FedCT: Federated Collaborative Transfer for Recommendation

CCF-A SIGIR 21

本文的主要内容是介绍了一种名为FedCT的推荐系统模型,该模型通过联邦学习和迁移学习的方式解决了分布式推荐系统中的问题。文章首先介绍了边缘协作推荐(Edge-CDR)问题及其相关领域,然后提出了一种基于用户嵌入迁移学习的模型,并详细说明了其限制。接着,文章介绍了DUE模型及其优化框架,并在实验部分展示了模型的性能结果。最后,文章总结了研究的主要发现并讨论了未来的研究方向。

本文最主要的创新点:

  • 提出了一种新的跨域推荐问题(Edge-CDR),它在去中心化边缘/移动计算环境中重新定义了跨域推荐问题,同时包括用户和域在跨域控制中。
  • 通过维持边缘设备上的去中心化用户编码(DUE),解决了间接跨域传输和异构跨域用户表示的挑战。
  • 将解决方案描述为一个联邦变分推断框架,并在大规模实际数据集上证明其有效性。
  • 证明该框架在与域对域传输方法相比时具有较高的效率,并且对域卸载/插入具有很好的灵活性。

Fine-Grained Preference-Aware Personalized Federated POI Recommendation with Data Sparsity

本文主要介绍了一种细粒度偏好感知的个性化联邦POI推荐框架PrefFedPOI。该框架旨在解决POI推荐中的数据稀疏性、用户偏好的时效性和隐私保护等挑战。具体包括在每个客户端提取细粒度偏好、设计性能增强的聚类机制以及个性化更新本地参数等步骤。在实验中,PrefFedPOI在两个真实世界数据集上表现优异,比现有方法取得了更好的性能。

CCF-A SIGIR23

本文最主要的创新点

  • 提出了一种细粒度偏好感知的个性化联邦POI推荐框架(PrefFedPOI),以解决时间敏感偏好、异构性和数据稀疏性问题。
  • 在每个客户端提取细粒度时间槽偏好,通过结合历史近期偏好和周期偏好来推荐下一个POI,同时考虑数据稀疏性。
  • 设计了一种数据量感知的选择策略,只允许具有足够数据的客户端上传参数和偏好。
  • 基于融合偏好表示对客户端进行聚类,以减轻异构性并增强正向知识传递。
  • 采用了一种增强聚类机制,利用强化学习来提高基于聚类的POI推荐性能。
  • 提供了一种高效的聚类方法,通过教师网络引导策略网络进行聚类,以加速训练过程。

Efficient-FedRec: Efficient Federated Learning Framework for Privacy-Preserving News Recommendation

本文主要介绍了一种名为Efficient-FedRec的隐私保护新闻推荐的有效联邦学习框架。该框架将新闻推荐模型分解为由服务器维护的大型新闻模型和轻量级用户模型。用户通过请求新闻表示和用户模型并使用本地数据计算梯度来参与模型训练,服务器对梯度进行聚合以更新用户模型和新闻模型,从而实现模型更新和新闻表示的推理。作者还介绍了在数据集中的用户信息保护,以及对框架进行的实验和分析。

EMNLP-2021 CCF-B

本文最主要的创新点

  • 提出了一种有效且高效的安全聚合协议,以保护模型训练中用户隐私。
  • 在两个真实世界数据集上进行了详尽的实验,以验证方法的有效性和效率。
  • 提出了一种高效的联邦学习框架,用于保护隐私的新闻推荐,可以有效降低用户端的计算和通信成本。

PipAttack: Poisoning Federated Recommender Systems for Manipulating Item Promotion

WSDM-2022 CCF-B
本文主要介绍了一种名为PipAttack的新型毒化攻击模型,针对去中心化的联邦推荐系统进行攻击。作者首先阐述了联邦推荐的基本设置,并正式定义了研究问题。然后详细介绍了他们提出的PipAttack方法,并使用两个真实世界的数据集进行了实验评估。作者通过实验回答了五个研究问题,包括PipAttack能否有效地在联邦推荐系统上进行毒化攻击、PipAttack是否显著损害了联邦推荐系统的推荐性能、PipAttack如何从每个关键组件中获益、超参数对PipAttack的影响以及PipAttack能否绕过服务器端部署的防御策略。此外,作者还介绍了PipAttack的关键组件,并总结了他们的主要贡献,包括设计了三个学习目标来实现攻击目标,提出了一种新颖的攻击框架,填补了联邦推荐系统中对促进项目的攻击方法研究的空白。

本文最主要的创新

  • 提出了PipAttack(Poisoning Federated Recommender Systems for Manipulating Item Promotion),这是首个针对联邦推荐系统的系统性投毒攻击方法,其中攻击者仅具有有限的先验知识。
  • 设计了三个创新的攻击目标:显式推广、受欢迎度混淆和距离约束,使攻击模型能够通过更少的模型更新实现攻击目标,同时避免对联邦推荐器的用户体验造成损害。
  • 通过实验证明了PipAttack在两个真实世界数据集上的优越性和实用性,即使在服务器端部署了防御策略,PipAttack仍然具有优越的性能。
  • 揭示了联邦推荐系统中存在的安全漏洞,引起了对联邦推荐器安全性的关注,并为设计更先进的防御策略提供了依据。

Federated Unlearning for On-Device Recommendation

WSDM-2023 CCF-B

本文主要介绍了一个名为FRU的方法,用于在联邦学习框架下的推荐系统中实现用户数据的删除。FRU方法的核心思想是通过回滚历史参数更新并对其进行校准来消除用户的贡献,然后使用这些更新来加速联邦推荐器的重建。为了在资源受限的个人设备上存储所有历史参数更新,作者提出了一种基于重要性的更新选择策略和一种新颖的负采样方法。实验结果表明,FRU可以有效地消除被攻击用户的影响,并以7倍的速度加快了重建联邦推荐器的过程。

本文主要的创新点:

  • 首次研究了联邦推荐系统中的机器忘记,使联邦推荐系统能够有效地删除特定用户/客户端的影响,并在恢复过程中实现高效恢复。
  • 提出了一种高效的联邦推荐忘记方法(FRU),受到数据库管理系统事务中基于日志的回滚机制的启发,通过回滚和校准历史参数更新移除目标用户的贡献,然后使用这些更新加速联邦推荐器重建。
  • 针对在资源受限的个人设备上存储所有历史参数更新的挑战,提出了一种小尺寸负采样方法来减少项目嵌入更新的数量,以及一种基于重要性的更新选择机制来仅存储重要的模型更新。
  • 通过一个攻击方法,使用一组受损用户来干扰联邦推荐器,然后使用FRU恢复推荐器,消除这些用户的影响。
  • 在两个真实世界的推荐数据集(即MovieLens-100k和Steam-200k)上进行了大量实验,使用两种广泛使用的联邦推荐器来展示所提出方法的效率和有效性。

UA-FedRec: Untargeted Attack on Federated News Recommendation

KDD-23 CCF-A
本文主要研究了联邦学习下的新闻推荐系统的安全性问题。作者提出了一种名为UA-FedRec的攻击方法,通过对新闻相似度和用户模型进行扰动,有效地破坏了模型的性能。作者在两个真实数据集上进行了实验,并证明了UA-FedRec的有效性。此外,作者还讨论了一些可能的防御方法,并探讨了潜在的研究方向。

本文最主要的创新点

  • 首次研究了针对联邦新闻推荐的非定向攻击。
  • 提出了一种高效的非定向攻击方法UA-FedRec,只需要少量恶意客户就能显著降低模型性能,从而更具实际性。
  • 通过设计新闻相似性扰动、用户模型扰动和数量扰动等方法,全面干扰新闻相似性建模、用户建模和放大恶意更新的影响。
  • 在两个真实世界数据集上的大量实验证明了 UA-FedRec 的有效性,即使在防御措施应用时也能降低现有联邦新闻推荐方法的准确性。
  • 本研究揭示了现有联邦新闻推荐系统中的关键安全问题,并呼吁研究者在这一问题上做出努力。

Vertical Federated Linear Contextual Bandits

本文主要研究了在垂直联邦设置中构建在线泛学术类文献阅读助手的问题。文章首先介绍了垂直联邦设置中的隐私保护挑战,并提出了一种名为O3M的隐私增强技术来解决这个问题。然后,文章详细介绍了垂直联邦线性上下文推荐算法的设计和实现过程。最后,文章通过实验验证了该算法在保护隐私的同时提供了良好的推荐性能。

本文最主要的创新点

  • 提出了一种新的问题设定:垂直联邦上下文赌博机(Vertical Federated Contextual Bandits,
    VFCB),用于在垂直联邦设置下解决上下文赌博机问题。
  • 设计了一种名为O3M(Orthogonal Matrix based MaskMechanism)的隐私保护机制,该机制通过使用正交矩阵对用户上下文信息进行加密,实现了在保护隐私的同时进行有效推荐的目标。
  • 将O3M应用于两种常用的上下文赌博机算法(LinUCB和LinTS),实现了两种实用的协议(VFUCB和VFTS),适用于现实世界的推荐任务。
  • 通过对合成数据集和真实世界数据集的综合实证研究,证明了所提出的协议在保证理论隐私保护的同时,具有与集中式赌博机相似的运行效率和推荐性能。
  • 总之,本文通过引入O3M隐私保护机制,实现了在垂直联邦设置下的上下文赌博机问题,为保护隐私的推荐系统提供了一种有效的解决方案。

Vertical Federated Graph Neural Network for Recommender System

CCF-A ICML-2023
本文主要介绍了一种称为VerFedGNN的垂直联邦图神经网络推荐系统。传统的推荐系统需要使用集中式数据库来训练推荐模型,但是由于数据隐私的问题,在涉及多方的推荐系统训练中,这种方法通常是不可行的。联邦学习成为了解决数据隔离和隐私问题的一个很好的解决方案。最近,图神经网络(GNN)在联邦推荐系统中变得越来越有前景。然而,一个关键的挑战是在保护图结构的隐私的同时进行嵌入传播。目前关于联邦GNN推荐系统的研究还很少。本研究提出了第一个垂直联邦GNN推荐系统VerFedGNN。我们设计了一个框架来传输:(i)使用随机投影对邻居嵌入的求和,以及(ii)通过三元量化机制扰动的公共参数的梯度。实证研究表明,VerFedGNN在保护用户互动信息的隐私方面具有竞争力的预测准确性,同时增强了隐私保护。

本文最主要的创新点是什么:

  • 提出了第一个基于垂直联邦学习的图神经网络(GNN)推荐系统,称为VerFedGNN,解决了在多方之间进行推荐模型训练时的数据隔离和隐私问题。
  • 设计了一个框架,可以通过随机投影传输邻居嵌入的总和以及通过三元量化机制扰动的公共参数梯度,实现在不暴露图结构隐私的情况下进行嵌入传播。
  • 通过实证研究表明,VerFedGNN具有与现有隐私保护GNN框架相媲美的预测准确性,同时提高了用户交互信息的隐私保护。
  • 总之,本文通过提出VerFedGNN,为解决传统推荐系统中的数据隔离和隐私问题提供了一种新颖的解决方案。

FedRec++: Lossless Federated Recommendation with Explicit Feedback

AAAI-2021 CCF-A

本文主要介绍了一种名为FedRec++的损失无损联邦推荐方法,用于建模用户的显式反馈。该方法旨在解决隐私保护和通信成本的问题,通过在服务器和客户端中设计去噪策略,保护用户的评分行为和评分数据隐私。作者通过实验证明了FedRec++的有效性和效率,并提出了将该方法推广到其他推荐模型和垂直联邦机器学习设置的未来工作方向。

本文最主要的创新点是什么:

本文的主要创新点是提出了一种无损的联邦推荐方法 FedRec++,用于建模用户的显式反馈。通过在服务器和客户端消除梯度噪声,FedRec++ 能够在保护用户隐私的同时提高推荐性能。此外,该方法通过引入去噪用户来收集梯度噪声,从而消除由随机采样项目及其对应用户导致的噪声。总体来说,FedRec++ 提供了一种在隐私保护下实现高效推荐的解决方案。

Untargeted Attack against Federated Recommendation Systems via Poisonous Item Embeddings and the Defense

AAAI-2023 CCF-A

本文主要介绍了一种针对联邦推荐系统的非定向攻击方法以及相应的防御机制。作者首先提出了一种名为ClusterAttack的攻击方法,通过上传恶意梯度将推荐系统中的物品嵌入收敛到几个密集的聚类中,从而干扰了推荐模型的整体性能。然后,作者提出了一种基于均匀性的防御机制,要求所有的正常客户端在本地模型训练中加入对比学习任务,使得服务器能够通过估计的物品嵌入均匀性来区分这些恶意梯度。实验证实了攻击和防御方法的有效性。

本文最主要的创新

  • 提出了一种名为ClusterAttack的新型非定向攻击方法,通过上传有毒的梯度使推荐模型的项目嵌入收敛到几个密集的簇中,从而使推荐器为同一簇中的相近项目生成相似的评分,并混乱排名顺序。
  • 提出了一种基于一致性的防御机制(UNION),用于保护联邦推荐系统免受此类攻击。该机制要求所有良好的客户在训练本地推荐模型时使用额外的对比学习任务,以使项目嵌入在空间中呈均匀分布。然后,服务器通过估计更新后的项目嵌入的一致性来识别这些恶意梯度。
  • 通过大量实验验证了ClusterAttack在降低联邦推荐系统性能方面的有效性,同时证明了UNION机制能够提高系统抵抗许多非定向攻击(包括ClusterAttack)的能力。
  • 总之,本文通过研究非定向攻击及其防御对策,揭示了联邦推荐系统的安全风险,并提供了一种可与现有拜占庭鲁棒联邦学习方法相结合的通用防御机制,以更好地保护系统免受现实世界中的潜在非定向攻击。

Privacy-preserving graph convolution network for federateditem recommendation

AI2023 CCF-A
本文主要介绍了一种隐私保护的图卷积网络 (P-GCN)用于联邦式物品推荐的方法。文章首先讨论了相关工作,然后介绍了研究问题的定义、P-GCN模型的设计和隐私性分析。接着进行了三个数据集的实证研究,最后讨论了未来可能的研究方向。P-GCN模型通过在中心服务器和客户端之间传输模型参数来构建推荐模型,同时采用了组内隐藏策略和安全聚合技术来保护用户的隐私数据。文章的主要内容涉及联邦式推荐系统、图神经网络、隐私保护技术等方面。

本文最主要的创新:

  • 提出了一种名为P-GCN的新型联邦推荐框架,用于保护用户隐私。据我们所知,P-GCN是第一个能够在分布式用户-项目图中利用高阶连接信息的基于GNN的跨用户联邦推荐模型,同时保护用户隐私。
  • 通过在三个数据集上进行实证研究,展示了P-GCN的有效性。结果表明,P-GCN的性能与非联邦的集中式GNN-based推荐方法相似,甚至更好,尽管分布式联邦学习设置更具挑战性。此外,P-GCN优于现有的FIR方法。
  • 提出了一种保护隐私的图卷积方法,然后采用基于项目的用户表示来弥补由于隐私保护而导致的高阶连接建模损失。此外,提出了一种改进的分组隐藏策略,用于用户隐私保护,可以在不损害推荐性能的情况下减少通信次数。

Win-Win: A Privacy-Preserving Federated Framework for Dual-Target Cross-Domain Recommendation

AAAI23 CCF-A

本文主要介绍了一种隐私保护的联邦学习框架,用于跨域推荐系统。该框架通过在不共享原始用户数据的情况下,使用联邦学习机制进行模型参数的同步更新,保护用户数据的隐私。文章还提出了用户嵌入向量的转换和特征级别的嵌入融合方法,以提高跨域推荐的性能。

本文最主要的创新

  • 提出了一种隐私保护的联邦跨领域推荐框架P2FCDR,这是首个适用于双目标跨领域推荐的隐私保护联邦框架,更符合实际需求,从隐私保护、场景覆盖和双向激励方面进行了优化。
  • 明确考虑了跨领域推荐中的信息融合,并提出了一个门控选择向量,旨在在特征级别提取与目标领域高度相关的细粒度信号,以避免负迁移。
  • 通过在三个真实世界数据集上进行广泛实验,证实了所提出方法在推荐性能和隐私保护方面的有效性。

Privacy Threats Against Federated Matrix Factorization

本文主要内容是关于联合矩阵分解(MF)中存在的隐私威胁问题。文章首先介绍了联合MF的三种数据分区方式:水平联合MF、垂直联合MF和联合转移MF,并讨论了每种方式下隐私威胁的具体情况。接着,文章讨论了在每种联合MF设置下可能存在的隐私威胁,并提出了隐私保护的方法,包括加密技术等。最后,文章总结了对联合MF中隐私问题的研究,并指出了未来的研究方向。

本文最主要的创新点是什么?

  • 根据数据分区方式,将联邦矩阵分解问题划分为三种类型:横向联邦矩阵分解、纵向联邦矩阵分解和联邦迁移矩阵分解。
  • 展示了每种类型联邦矩阵分解中的隐私威胁,即如何让诚实但好奇的参与者泄露私有偏好数据。
  • 讨论了如何采用加密技术来保护隐私。
  • 为未来工作,计划通过测量推断出的私有数据的比例和准确性来实验研究所提出的隐私攻击的能力。同时,还需要对基于交替最小二乘的矩阵分解和其他推荐系统的隐私威胁进行进一步全面研究。

FedeRank: User Controlled Feedback with Federated Recommender Systems

本文主要介绍了一种名为FedeRank的基于联邦学习的推荐系统框架。该框架使用户能够对其私密数据进行控制,并仅分享其中的一小部分数据。作者通过在三个真实世界数据集上进行了广泛的实验评估,展示了FedeRank提供高质量的推荐结果的能力。同时,文章还介绍了基于因子分解的推荐模型和联邦学习的基本概念。

本文最主要的创新点是什么?

  • 提出了FedeRank,这是第一个遵循联邦学习范式的分解模型,它允许用户控制他们的私有数据以进行推荐场景。
  • 通过实验证明FedeRank能够在保持用户数据控制权的同时提供高质量的推荐。
  • 分析了不完整数据对系统性能的影响,以及基于数据缺失程度的算法偏差对最终推荐列表的影响。
  • 这些创新点有助于解决用户隐私和数据安全问题,使得联邦学习在推荐系统中得到更广泛的应用。

Fast-adapting and Privacy-preserving Federated Recommender System

本文主要介绍了一种快速适应和隐私保护的联邦式推荐系统。文章首先提出了两种基于深度神经网络的推荐系统模型:PrivRec和DP-PrivRec,分别用于在联邦学习环境中运行,实现隐私保护。其次,文章介绍了如何利用元学习方法快速适应新用户或不活跃用户,并提出了使用差分隐私机制增强隐私保护的DP-PrivRec模型。最后,文章进行了两个数据集的大量实验,证明了所提出模型的有效性。

本文创新点

  • 提出了一种快速自适应的联邦推荐系统,通过使用基于两阶段联邦学习方法的隐私保护机制来平衡推荐性能和用户隐私之间的权衡。

  • 在第一阶段,通过自监督学习(SSL)仅关注学习项目表示,而在第二阶段,遵循DP-PrivRec的训练过程,通过一个下游任务(即建模用户-项目交互)来优化模型参数。

  • 通过在训练过程中采用模型无关元学习(MAML)方法,使得推荐系统能够更快地适应新用户和新数据。

  • 引入了差分隐私(DP)概念,以保护用户隐私免受攻击,同时保持联邦学习训练框架的优势。

    这些创新点共同构成了一个快速自适应且隐私保护的联邦推荐系统,能够在保护用户隐私的同时提供高效的推荐服务。

什么是推荐系统中的元学习

推荐系统中的元学习(Meta-Learning),有时也被称为“学习如何学习”,是一种机器学习的方法,它使得算法能够通过经验学习并改进其学习过程。在推荐系统的背景下,元学习的目的是让推荐模型能够根据不同用户的反馈和行为,快速适应并个性化推荐内容。

推荐系统中元学习的应用:

  • 快速适应新用户或新物品:推荐系统经常面临冷启动问题,即对新用户或新物品缺乏足够的数据来进行准确的推荐。元学习可以使系统快速适应新情况,即使只有少量的交互数据。
  • 个性化学习策略:元学习允许系统为不同用户或不同类型的物品开发定制化的学习策略,从而提高推荐的准确性和用户满意度。
  • 跨领域推荐:在跨领域推荐场景中,元学习可以帮助模型利用一个领域的知识来提高另一个领域推荐的效果。
  • 适应动态环境:推荐系统需要在不断变化的环境中运作,用户的兴趣和行为模式可能会随时间发生变化。元学习使推荐系统能够更好地适应这种动态性。

元学习方法在推荐系统中的应用示例:

  • 模型无关的元学习(MAML):这种方法通过对一组任务进行训练,然后在新任务上快速调整模型参数,以实现快速适应。
  • 基于嵌入的元学习:通过学习用户和物品的嵌入表示,并利用这些表示来快速调整推荐模型。
  • 基于模型的元学习:构建可以预测最佳模型参数或学习策略的模型,使推荐系统能够快速适应新用户或新物品。
  • 元学习在推荐系统中提供了一个强大的工具,可以显著提高系统的灵活性和适应性,特别是在面临冷启动问题和动态变化环境时。通过这种高级的学习方法,推荐系统能够更好地理解用户的个性化需求,从而提供更准确、更相关的推荐。

Rule: Federated Rule Dataset for Rule Recommendation Benchmarking

本文主要介绍了一个名为"Rule: Federated Rule Dataset for Rule Recommendation Benchmarking"的数据集,用于规则推荐任务的评测。该数据集包含了智能家居设备的规则数据,并提供了两种训练模式:集中式学习和联邦学习。文章还讨论了规则推荐系统的挑战和现有数据集的局限性,并介绍了一些相关的研究和方法。

本文的创新点

  • 提供了一个大规模、用户中心的Wyze Rule数据集,专门用于智能家居规则推荐研究。该数据集包含了来自WyzeLabs的300,000名用户创建的超过100万条规则,为研究者提供了丰富且多样化的现实场景数据。
  • 引入了一种新颖的用户中心图结构,其中每个用户都有自己的图。这种结构将规则推荐任务转化为链接预测问题,使得在联邦学习领域中可以有效地学习图表示。
  • 提出了一种名为FedRule的联邦学习算法,该算法利用每个用户在本地数据上独立更新模型,然后将更新的模型发送到中央服务器进行聚合。这有助于在保护用户隐私的同时实现与集中式方法相当的性能。
  • 通过实验证明了WyzeRule数据集在集中学习和联邦学习方面的潜力,为进一步优化中心化规则推荐算法、制定适用于跨设备场景的新型联邦学习算法以及同时提高这两个领域的性能提供了指导。

TOWARDS FAIR FEDERATED RECOMMENDATION LEARNING: CHARACTERIZING THE INTER-DEPENDENCE OF SYSTEM ANDDATA HETEROGENEITY

本文主要研究了在现实系统引发的数据异质性存在的情况下,如何评估公平的联邦推荐学习。通过分析重要的稀疏特征,作者发现了系统引发的数据异质性的存在,并提出了一种模拟系统引发的数据异质性的方法。作者还开发了一个模拟框架来评估不同的联邦学习优化方法对模型公平性的影响。该研究对于推荐系统中的公平性和数据异质性问题进行了深入探讨。

  • 首次提出并探讨了系统和数据异构之间的相互依赖性,这是现有联邦学习(FL)研究中尚未考虑的重要现实特征。
  • 提供了一种模拟现实系统引入数据异构性的方法,该方法可以在现有数据集上生成有趣的公平性效应,而先前的方法无法实现这一点。
  • 开发了RF²(Realistic Federated Recommendation for Fairness),这是一个用于推荐系统的FL模拟框架,可以模拟各种程度的系统引入数据异构性。RF²包括:(1)使用流行推荐模型和数据集模拟FL的代码;(2)一种统计方法来建模和控制系统引入的数据异构性;(3)实现了各种流行FL优化方法。
  • 通过RF²进行的评估显示,在具有系统引入数据异构性的现实场景中,一些流行的FL优化方法可能对模型公平性产生严重影响,有时比没有系统引入数据异构性的简单情况严重40倍以上。
  • 评估还发现,在没有系统引入数据异构性的情况下表现相似的公平性影响的方法,在具有现实系统引入数据异构性的情况下可能产生显著不同的公平性影响。此外,实现最佳准确性的优化方法并非总是最公平的(例如,两种类似准确性的优化方法在公平性上可能相差4.88倍)。
  • 总之,本文通过提出RF²和相关评估,揭示了现有FL优化方法在现实系统引入数据异构性场景中可能产生的公平性问题,并激发了对更真实的系统引入数据异构性模拟的需求。RF²有助于未来的研究者系统地研究其系统的实际公平性影响。

Horizontal Federated Learning and Secure Distributed Trainingfor Recommendation System with Intel SGX

本文主要介绍了基于Intel SGX的水平联邦学习和安全分布式训练方案,用于实现安全的分布式推荐系统的学习。推荐系统在大数据时代和人工智能等技术的发展中有着广泛的应用,但是推荐系统的模型构建通常离不开用户的数据。特别是基于深度学习的推荐系统,由于模型的复杂性和深度学习本身的特点,其训练过程不仅需要长时间的训练和丰富的计算资源,还需要使用大量的用户数据,这在数据安全和隐私保护方面提出了相当大的挑战。本文通过基于Intel SGX和TensorFlow框架的水平联邦学习和安全分布式训练方案,在不同场景下实现了安全的、分布式的推荐系统学习方案。实验结果表明,本文实现的方法在模型性能上几乎没有损失,训练速度在可接受的范围内。

本文最主要的创新点

  • 提出了基于Intel SGX的水平联邦学习和安全分布式训练方法,实现了在不同场景下的安全、分布式的推荐系统学习方案。
  • 通过在经典的深度学习推荐模型(DLRM)上进行实验,结果表明该实现在模型性能方面几乎没有损失,训练速度在可接受范围内。

Towards Communication Efficient and Fair Federated Personalized Sequential Recommendation

本文主要研究了联邦式顺序推荐系统中的通信效率、公平性和个性化的问题,并提出了CF-FedSR框架来解决这些挑战。文章首先介绍了联邦式推荐系统的背景和挑战,然后详细描述了CF-FedSR框架的设计和关键组件,包括客户端选择、基于客户端聚类的采样、公平感知的模型聚合和个性化模块。实验结果表明,CF-FedSR框架在模型性能、通信效率和公平性方面均取得了显著的改进。

本文最主要的创新点如下:

  • 提出了一种通信高效且公平的联邦序列推荐算法(CF-FedSR),以解决现有联邦推荐系统在通信过程优化、公平性和个性化方面的问题。
  • 设计了一种自适应模型聚合和个性化算法,以确保公平性和个性化。通过自适应地聚合上传的模型参数来确保公平性,同时通过局部微调和模型适应实现个性化。
  • 在真实世界数据集上的评估表明,所提出的模型在性能、通信成本和公平性方面优于代表性方法。与竞争方法相比,该模型平均提高了9.12%,同时需要较少的通信轮次。
  • 提出了一种通信高效且公平的联邦序列推荐算法(CF-FedSR),包括客户端选择、基于客户端聚类的采样、公平感知模型聚合和个性化模块。这些技术旨在确保联邦推荐的公平性和个性化,提高推荐性能,同时减轻通信成本。

Studying the Impact of Data Disclosure Mechanism in Recommender Systems via Simulation

本文主要研究了在推荐系统中数据披露机制对用户隐私决策的影响,并提出了一个隐私感知的推荐框架,赋予用户对个人数据的精细控制。研究发现,不同的平台机制和推荐模型对用户的隐私决策有显著影响,优化模型能够激励用户披露更多数据,但普通用户披露的数据总量并不总是增加。此外,研究结果还指出,除了优化模型外,平台机制的优化也是吸引用户分享更多数据的另一个选择。最后,由于直接在现实世界中部署提出的框架存在挑战,研究采用模拟研究来研究提出的框架的影响。

本文最主要的创新点是什么?

ACM-TOIS CCF-A

  • 提出了一个关注隐私的推荐框架,该框架赋予用户对其个人数据的控制权。据我们所知,这是第一个让用户对隐私数据进行细粒度控制的工作。
  • 将用户的隐私决策过程和平台的数据披露机制建模为数学语言,然后实例化平台机制中的一个数据拆分规则和三个数据披露策略。
  • 提出了一种强化学习方法来模拟用户的隐私决策制定。通过在两个基准数据集上进行大量实验,研究了三个代表性推荐模型的影响。
  • 广泛的实验结果表明,所提出的框架在保护用户隐私方面非常有效。这些结果还为数据披露机制设计和模型优化提供了一些启示。

Federated Recommendation with Additive Personalizati

本文主要介绍了一种名为“Federated Recommendation with Additive Personalization (FedRAP)” 的新型联邦学习推荐算法。该算法通过结合全局视角和个性化视角来平衡全局知识共享和本地个性化,通过添加模型来对项目嵌入进行个性化处理,以提高推荐的精度。此外,该算法还使用了稀疏正则化差异性正则化来降低通信成本和保证模型的泛化性能,并提出了一种有效的课程表来逐步学习本地和全局视角。最后,该算法在多个基准测试中取得了最佳表现,超过了最近的联邦推荐方法和多个基线。

本文主要创新点

本文最主要的创新点是提出了一种具有加法个性化的联邦推荐方法(Federated Recommendation with Additive Personalization,FedRAP)。FedRAP通过在每个用户侧本地学习个性化视图,并在全局范围内学习项目视图,从而实现了一种平衡全局知识共享和本地个性化的方法。通过鼓励稀疏全局视图以节省联邦学习的通信成本,并通过两个正则化器使两个视图互补,FedRAP在多个基准测试中取得了最佳性能。

加法个性化联邦推荐方法

加法个性化的联邦推荐方法(Federated Recommendation with Additive Personalization,简称FedRAP)是一种在联邦学习(FL)背景下构建推荐系统的新兴挑战。FedRAP通过联邦学习(FL)在全局范围内学习项目嵌入,并在每个用户的本地端学习个性化的项目嵌入。FedRAP鼓励一个稀疏的全局观点以节省FL的通信成本,并通过两个正则化器将两个观点互补。为了为用户产生推荐,FedRAP将两个观点相加以获得个性化的项目嵌入。FedRAP在多个基准测试中实现了联邦学习设置的最佳性能,优于最近的联邦推荐方法和几个消融研究基线。

Interaction-level Membership Inference Attack Against Federated Recommender Systems

本文主要研究了针对联邦推荐系统的交互级别成员推断攻击(IMIA)。攻击者的目标是通过分析用户上传的公共参数,推断每个客户端的互动物品集合。研究发现,现有的联邦推荐系统存在用户互动数据泄露的隐私风险。为了解决这个问题,作者设计了一种IMIA攻击和有效的防御方法。攻击者通过构建阴影数据集和阴影推荐模型来逐步识别用户的互动物品。实验结果表明,IMIA攻击的推断准确性很高,从而凸显了联邦推荐系统中用户互动数据泄露的风险。

本文最主要的创新点:

  • 首次研究了联邦推荐系统(FedRecs)中的交互级别会员推断攻击(IMIA),揭示了用户与项目交互数据的隐私风险。
  • 设计了一个新颖的攻击者,从好奇但诚实的中央服务器角度推断目标用户的私有交互,通过迭代地在阴影数据集上训练阴影模型来实现。
  • 在三个真实世界的推荐数据集上实施了IMIA攻击,验证了IMIA对FedRecs的威胁。
  • 发现传统的隐私保护方法(如局部差分隐私,LDP)在防范该攻击时效果并不理想。
  • 提出了一个新的防御者,通过限制公共参数的学习能力来减少用户隐私泄露的风险,同时对推荐性能产生较小的影响。

A Privacy Preserving System for Movie Recommendations Using Federated Learning

ACM Transactions on Recommender SystemsAccepted on November 2023

本文主要介绍了一种使用联邦学习进行电影推荐的隐私保护系统。文章首先介绍了电影推荐系统的三个阶段:候选生成、排名和再排名。然后介绍了项目的目标和要求,以及系统架构和组件的设计。文章还提到了对数据集进行的分析和实验,以及解决非独立同分布和小型本地数据集的问题的技术。最后,文章总结了系统的优势和贡献。

本文最主要的创新点是什么?

  • 使用联邦学习(Federated Learning)端到端训练的隐私保护电影推荐系统。
  • 通过实验证明的超高可扩展性,支持超过162,000个客户端。
  • 使用最先进的神经网络压缩(NNC)减少中央服务器与客户端之间的通信。
  • 提出了一种新队列联邦训练方法,以解决非独立同分布(non-i.i.d.)和不平衡的局部数据集问题。

DRIFT: A Federated Recommender System with Implicit Feedback on the Items

本文主要介绍了一种安全的联邦学习推荐系统算法DRIFT。该算法通过将用户的交互信息加密,并在多个参与者之间进行安全的通信,保护用户的隐私。文章详细介绍了算法的工作原理、技术选择、实验结果等方面。

本文最主要的创新点是什么?

本文最主要的创新点是提出了一种名为DRIFT的分布式梯度更新算法,用于构建安全的联邦推荐系统。这种方法旨在解决现有推荐系统中的安全问题,通过使用联邦学习、加密技术和隐式反馈来保护用户隐私,同时提供有效的推荐。DRIFT算法在理论分析和实验测试中表现出良好的性能,证明了其在保持用户隐私的同时实现高质量推荐的能力。

分布式梯度更新算法(Distributed Gradient Update Algorithm)是一种在分布式系统中用于训练机器学习模型的方法。在这种算法中,数据和计算任务被分布在多个计算节点(DO)上,每个节点负责计算其局部梯度。这些局部梯度随后被集中在一个中心服务器(COS)上,用于更新全局模型参数。这种方法允许在不共享敏感数据的情况下,训练具有较高隐私保护的机器学习模型。分布式梯度更新算法在联邦学习(Federated Learning)中得到了广泛应用,以实现安全的推荐系统。

IFedRec: Item-Guided Federated Aggregation for Cold-Start Recommendation

本文的主要内容是介绍了一种基于物品引导的联邦聚合方法,用于冷启动推荐。该方法通过交换物品的语义嵌入来学习共同的用户偏好,并保留其他模型参数以实现用户个性化。此外,文章还提出了一种物品语义对齐机制,用于对齐用户的物品偏好语义和服务器的物品属性语义。当有新的物品到达时,服务器首先学习物品的属性语义,并将其分发给所有用户,用户可以基于本地训练的个性化模型直接进行冷启动推荐。

本文最主要的创新点:

  • 提出了一种新颖的基于项目指导的联邦聚合框架(IFedRec),用于冷启动推荐。该框架允许在不重新训练的情况下随时进行预测,这符合实际应用需求。
  • 提出了一种新颖的项目语义对齐机制,用于联邦冷启动推荐。该机制通过将用户产生的项目偏好语义与服务器产生的项目属性语义对齐,从而实现更全面的项目嵌入学习。
  • 提出的方法在广泛的实验和深入分析中取得了最先进的性能,证明了冷启动项目的重要性。
  • 所提出的项目语义对齐机制可以轻松集成到现有的FedRec模型中,以提高冷启动推荐的性能。

什么是物品语义对齐机制?

物品语义对齐机制是一种用于联邦冷启动推荐的方法,它通过将用户侧的物品偏好语义与服务器侧的物品属性语义对齐,以学习更全面的物品嵌入。在这个机制中,用户侧的推荐模型通过交换物品语义嵌入来学习共同用户偏好,同时保留其他模型参数以捕捉个人用户特性。此外,服务器侧部署了一个物品语义映射模型,该模型通过原始物品属性学习物品属性语义。
物品语义对齐机制的主要优势有以下几点:

  • 通过在用户偏好语义和物品属性语义之间建立联系,可以更好地捕捉全局物品视图,从而生成有效的补充信息以增强客户端模型训练。
  • 当新物品到来时,服务器首先学习物品属性语义,然后将其分发给所有用户,这样用户可以使用本地训练的个性化模型参数直接进行冷启动推荐,而无需任何重新训练。
  • 该方法在多个数据集上的实验表现出色,并在深入分析中支持冷物品的重要性。
  • 所提出的物品语义对齐机制可以轻松地集成到现有的FedRec模型中,以改进冷启动推荐。

Personalized Federated Domain Adaptation for Item-to-Item Recommendation

本文主要介绍了一种个性化的联邦领域适应方法,用于物品到物品的推荐。该方法结合了个性化联邦学习和图神经网络,通过可传递和可适应的图汇总组件来实现领域适应。研究表明,通过在不同市场领域之间共享和交换推荐洞察力,可以提高物品推荐的质量。
CCF-B UAI2023

本文最主要创新点

  • 提出了一种个性化联邦领域自适应方法,将个性化联邦学习与图神经网络相结合,适用于分散的图数据。
  • 通过引入一种可调整的图摘要组件,实现了个性化联邦学习与图神经网络之间的集成,从而形成了一种强大的联邦领域自适应模型。
  • 在两个大规模跨市场的项目到项目推荐数据集上进行了广泛的实证研究,证明了所提出的框架在处理高度异构的市场片段时具有优越的性能。
  • 总之,本文首次将非图的个性化联邦学习与图神经网络相结合,在一个现实的跨市场项目到项目推荐数据集上取得了有希望的结果。

COMMUNITY DETECTION ATTACK AGAINST COLLABORATIVELEARNING-BASED RECOMMENDER SYSTEMS

本文主要研究了针对协作学习型推荐系统的社区检测攻击(CDA)的有效性,并提出了防御策略。研究发现,即使在模型聚合过程中保持安全和机密,模型的质量指标仍可能泄露用户相似性信息。文章还探讨了如何利用有限的攻击者与用户之间的交互以及分享更少的参数来平衡隐私和效用之间的关系。此外,文章还比较了不同的隐私保护方法对攻击和效用的影响,并提出了未来工作的方向。

本文创新点

  • 提出了一种新的攻击方法,即社区检测攻击(CDA),用于评估基于协作学习的推荐系统(如联邦推荐系统和基于Gossip的推荐系统)的安全性。
  • 在不同的攻击场景下(FL设置和Gossip设置)详细描述了攻击过程,以及如何利用受害者提供的模型来评估目标社区的概率。
  • 通过实验证明,在所有模型和数据集上,FL设置比Gossip设置更容易受到CDA的影响。
  • 证明了在推荐系统中,与差分隐私(DP)相比,分享较少策略具有更好的隐私-效用权衡。

HeteFedRec: Federated Recommender Systems with Model Heterogeneity

本文的主要内容是介绍了一种异构联邦推荐系统框架,称为HeteFedRec。传统的联邦推荐系统假设所有客户端具有相同大小的推荐模型,而HeteFedRec则允许客户端根据其资源情况自定义推荐模型的大小。该框架通过引入异构模型大小和关系式集成自蒸馏机制,实现了不同模型大小之间的知识迁移。作者在三个真实的推荐数据集上进行了广泛的实验证明了HeteFedRec的性能优势。

本文最主要的创新点是什么?

本文的最主要创新点是提出了一种名为HeteFedRec的联邦推荐框架,它允许客户端自定义模型大小。HeteFedRec通过统一的双任务学习方法实现了具有不同项目嵌入大小的推荐模型的加性聚合。此外,HeteFedRec采用了一种基于关系的知识蒸馏方法来增强来自不同推荐模型的知识共享。在三个现实世界的数据集上使用两种广泛使用的推荐系统进行了大量实验,结果证明了HeteFe-dRec的有效性和通用性。

No prejudice! Fair Federated Graph Neural Networks for Personalized Recommendation

AAAI-2024 CCF-A
本文主要介绍了一种在个性化推荐系统中引入公平性的方法,即基于联邦图神经网络的公平个性化推荐。文章首先介绍了该推荐模型的损失函数和优化问题,然后引入了局部差分隐私(LDP)机制来保护用户的隐私。接着详细介绍了算法的实现和数据集的使用,并进行了实验验证。最后,提出了未来可能的研究方向。

本文最主要的创新点是

  • 提出了一个新颖的F²PGNN(Fair Federated Graph Neural Networks)框架,将公平性、隐私和个性化相结合,为基于图神经网络的联邦推荐系统提供支持。
  • 引入了一种具有隐私保护功能的归纳图扩展算法,有效捕获分布式用户数据中的高阶交互,同时降低通信开销。
  • 通过在模型更新和组统计中增加局部差分隐私(LDP)模块,增强了隐私保护。
  • 在三个公开可用的数据集(一个小型数据集和两个大型数据集)上进行的大量实验证明了F²PGNN的有效性。详细的分析和消融研究进一步验证了F²PGNN中所提出的各个组件的强大性和有效性。

User Consented Federated Recommender System Against Personalized Attribute Inference Attack

本文主要介绍了一种名为UC-FedRec的个性化隐私保护推荐系统框架,旨在解决传统联邦式推荐系统在面对属性推断攻击时的隐私保护问题。UC-FedRec通过利用不同的隐私偏好,可以消除特定的敏感信息,从而满足用户的隐私需求。研究通过实验评估了UC-FedRec的性能,包括推荐效用和隐私保护能力,并对不同隐私偏好、私人属性等进行了分析。实验结果表明,UC-FedRec在保护隐私的同时能够保持较高的推荐效用,且可以根据用户不同的隐私偏好提供灵活和有效的隐私保护。

本文最主要的创新点

  • 提出了用户同意的联邦推荐系统(UC-FedRec)框架,使用敏感属性过滤器,用户可以灵活地保护其个人敏感隐私信息。
  • 在FedRec中引入了对抗性框架,提出了一种个性化隐私意识算法,以满足用户不同的隐私和效用偏好。该框架可以在最小化推荐准确性损失的同时满足不同用户的隐私需求。
  • 量化了FedRec中的隐私泄露问题,并在两个真实世界数据集上评估了所提议的框架在隐私保护和效用方面的表现。结果表明,该框架可以灵活地处理各种不同且变化的用户隐私偏好。

Accelerating Recommendation System Training by Leveraging Popular Choices

本文主要介绍了一种名为Frequently Accessed Embeddings (FAE)的框架,该框架旨在加速推荐系统的训练过程。FAE框架通过在GPU上智能地存储热门的embedding数据,减少了CPU和GPU之间的通信开销,从而提高了训练效率。文章首先阐述了推荐模型训练中热门输入和embedding数据的访问模式,然后介绍了FAE框架的设计和实现,最后通过实验证明了FAE框架相对于基准模型的加速效果和准确性。

本文最主要的创新点是

本文最主要的创新点是提出了Frequently Accessed Embeddings(FAE)框架,它有效地在CPUs和GPUs之间分配嵌入数据,同时保持基线准确性。FAE通过优化嵌入数据布局,利用训练输入和嵌入访问模式来加速推荐系统训练。具体来说,FAE将热门嵌入(高度访问的嵌入)存储在每个GPU设备上,而将冷门嵌入(较少访问的嵌入)存储在CPUs上。这样可以在GPU上执行整个训练图,同时减少CPU和GPU之间的通信开销。

A Survey on Federated Recommendation Systems

CCF-B类期刊IEEE TRANSACTIONS ON NEURAL NETWORKS AND LEARNING SYSTEMS

本文主要介绍了联邦推荐系统(FedRS)的研究现状和发展趋势。FedRS是一种保护用户隐私的推荐系统,通过共享中间参数而不是真实的用户行为数据来联合训练全局推荐模型。文章从隐私保护、安全性、异构性和通信成本等方面总结了FedRS的最新研究成果,并介绍了应用和公共基准数据集。此外,文章还提出了一些未来的研究方向。

本文主要内容

  • 对联邦推荐系统进行全面调查,总结了现有的研究成果和挑战,填补了监测文献中的空白。
  • 总结了一些常用的隐私机制,并讨论了每种机制的优点和局限性。
  • 回顾了一些鲁棒聚合策略以及针对安全性的一些新攻击。
  • 总结了一些解决异构性和通信成本问题的方法。
  • 介绍了一些可用于构建联邦推荐系统的开源平台,以及未来的一些有前景的研究方向。

FEDERATED COLLABORATIVE FILTERING FORPRIVACY-PRESERVING PERSONALIZED RECOMMENDATIONSYSTEM

本文介绍了一种名为Federated Collaborative Filter (FCF)的新方法,它是一种基于联邦学习(Federated Learning)的个性化推荐系统。该方法允许用户的数据始终留在客户端,不会被传输到服务器,从而提高了用户的隐私保护。同时本文还介绍了一种随机梯度下降的方法来更新模型,以保持用户数据的隐私性。本文的贡献在于提出了FCF方法,并在MovieLens和一个公司内部数据集上进行了测试,证明该方法比传统方法更具隐私性,而且性能相当。

本文最主要的创新点是

  • 提出了第一个联邦实现的协同过滤方法,将协同过滤应用于用户的隐式反馈,并在MovieLens和一个内部生产数据集上展示了其适用性。
  • 通过使用随机梯度方法,实现了联邦模型的更新,以保护用户隐私。
  • 通过实证验证,证明了协同过滤可以在不降低准确性的情况下实现联邦化,从而在广泛使用的推荐应用中提高用户隐私,同时保持推荐性能。

On the User Behavior Leakage from Recommender System Exposure

ACM-TOIS CCF-A
本文主要研究了在推荐系统中用户行为泄露的问题。文章回答了以下三个问题:(1)推荐系统的行为数据(即曝光数据)是否存在推断用户历史行为隐私的风险?(2)如果存在风险,攻击模型应该如何进行?(3)如何设计一种保护机制来降低用户行为泄露的风险?文章通过文献综述介绍了推荐、曝光数据和隐私问题在推荐系统中的研究。

本文最主要的创新点

  • 提出了一种新的隐私泄漏风险,即用户历史行为隐私可能通过推荐系统暴露数据推断出来。
  • 设计了一种攻击模型来执行用户隐私推断。实验结果表明,隐私泄漏的危险非常大。
  • 提出了一种保护机制来减轻隐私风险。实证评估显示,推荐准确性与隐私泄漏风险之间存在权衡效应。

Manipulating Federated Recommender Systems: Poisoning with Synthetic Users and Its Countermeasures

SIGIR23 CCF-A
本文主要研究了联邦推荐系统中的梯度污染攻击及其防御方法。在该研究中,作者发现了合成用户和真实用户的前K推荐结果存在很大的重叠部分,这支持了他们的猜想:如果一个目标物品在合成用户中有很高的曝光率,那么它在真实用户中的曝光率也会很高。基于这一发现,作者提出了一种名为“PSMU”的梯度污染攻击方法,并提出了一种名为“HiCS”的防御方法。实验结果表明,PSMU攻击可以显著提高目标物品的曝光率,而HiCS防御方法可以有效抵御梯度污染攻击。

本文的主要创新点

  • 提出了一种新的投毒攻击方法(PSMU),通过使用合成恶意用户有效地操纵联邦推荐系统(FedRecs),而无需依赖任何先验知识。
  • 攻击方法通过考虑目标项目的替代品来操纵目标项目的曝光率,从而在top-K推荐中实现有效的项目排名和曝光率提升。
  • 通过大量实验验证了所提出的攻击方法在两个常用的FedRecs(Fed-NCF和Fed-LightGCN)以及两个现实世界的推荐数据集上的有效性,结果显示攻击可以在极少的恶意用户和较少的全局迭代次数下显著提高不受欢迎目标项目的曝光率
  • 除了揭示安全漏洞外,还设计了一种针对FedRecs中投毒攻击的新对策。具体而言,提出了一种分层梯度剪切与稀疏更新的方法来抵御现有的投毒攻击。实证结果表明,所提出的防御机制可以提高FedRecs的鲁棒性。

Federated Unlearning for On-Device Recommendation

WSDM-23 CCF-B

本文主要介绍了一种名为FRU(Federated Recommendation Unlearning)的联邦学习框架,用于在设备端的推荐系统中实现用户数据的有效擦除和模型重建。FRU通过存储用户的历史更新并校准这些更新,实现了有效的用户数据擦除和模型重建,从而保护用户隐私并提高系统的安全性。文章提出了重要性基础的更新选择策略和一种新颖的负采样方法,以在资源受限的设备上高效存储历史更新。通过实验证明,FRU能够消除特定用户的影响,并以至少7倍的速度加快模型的恢复过程。

本文最主要的创新点

  • 提出了首个针对设备推荐的联邦遗忘框架(FRU),允许在保护数据隐私的同时快速撤消特定用户的影响
  • 设计了一种基于重要性的更新选择机制,只存储重要的项目嵌入更新,从而降低存储成本并提高效率。
  • 提出了一种用户-项目混合半硬负采样方法,通过利用高质量负样本训练联邦推荐模型,实现了与传统采样方法相当的模型性能,同时减少了负样本数量,从而降低了每个客户端的项目嵌入更新大小。
  • 通过在有限的存储空间上动态选择重要更新,FRU能够在每个训练周期中仅存储每个客户端的重要更新,从而提高存储效率。
  • 通过对比实验证明了FRU在实际推荐数据集上的有效性和效率,实验结果表明FRU可以在保持较高推荐性能的同时,实现7倍的加速。

LightFR: Lightweight Federated Recommendation with Privacy-preserving Matrix Factorization

ACM-TOIS CCF-A
本文的主要内容是介绍了一种名为LightFR的轻量级联邦推荐系统,该系统采用隐私保护的矩阵分解技术。文章首先回顾了矩阵分解、学习哈希和联邦推荐系统等相关领域的研究,然后详细介绍了LightFR的框架和算法,并从存储/通信效率、推荐效率和隐私保护等多个方面论证了其优越性。接下来,文章通过实验验证了LightFR的有效性和效率,并讨论了其对用户隐私的保护能力。

本文最主要的创新点是什么?

  • 提出了一种轻量级的联邦推荐框架(LightFR),结合了学习哈希技术和隐私保护矩阵分解,既实现了低成本的资源利用,又增强了隐私保护能力。
  • 通过利用学习哈希技术,在服务器和客户端获得高质量的二进制代码,以有效解决联邦设置中的离散优化问题。
  • 设计了一种高效的联邦离散优化策略,在服务器和客户端之间进行参数训练,同时降低资源利用和保护隐私。
  • 从多个角度(存储/通信效率、推理效率和隐私保护)证明了该方法的优越性。
  • 总之,本文提出了一种轻量级的联邦推荐方法,通过利用学习哈希技术和隐私保护矩阵分解实现了高效、低成本且安全的推荐。

ReFRS: Resource-efficient Federated Recommender System for Dynamic and Diversified User Preferences

ACM-TOIS 2021 CCF-A
本文介绍了一种资源高效的联邦推荐系统(ReFRS),该系统可以有效管理动态和多样化的用户偏好,即使边缘设备资源有限且用户交互稀疏。ReFRS框架主要由分布式客户端模块和语义服务器两个组件组成。客户端模块包括用户交互采样器、嵌入模型和推荐模型,用于学习每个用户的动态偏好。语义服务器根据共享参数聚合模型,并通过动态更新用户分组来适应新的交互和新的客户端。文章还介绍了使用向量量化和自我监督技术来处理连续潜变量空间的问题,以及采用差分隐私和同态加密保护用户隐私的方法。实验结果表明,ReFRS在保护用户隐私的同时,能够提供准确的推荐模型。

本文最主要的创新点

  • 提出了一种资源高效的联邦推荐系统(ReFRS),适应动态和多样化的用户偏好,在保护用户隐私的同时实现分布式推荐。
  • 在设备端,ReFRS采用一个轻量级的自监督局部模型,基于变分自编码器学习用户与交互项目序列相关的时序偏好。
  • 在服务器端,ReFRS使用一个可扩展的语义采样器,对相似用户进行自适应的模型聚合。聚类模块以异步和动态的方式运行,以支持高效的全局模型更新并应对用户兴趣的变化。
  • ReFRS通过与现有的联邦推荐方法进行比较实验,展示了其在准确性和可扩展性方面的优越性能。

FedAttack: Effective and Covert Poisoning Attack on Federated Recommendation via Hard Sampling

ACM SIGKDD22 CCF-A
本文主要介绍了一种针对联邦推荐系统的有效且隐蔽的非目标性攻击方法,称为FedAttack。该方法利用了硬负采样机制,在恶意客户端上选择与用户兴趣最相似的负样本和与用户兴趣最不相似的正样本,以污染联邦推荐模型的训练。文章通过在两个推荐系统基准数据集上进行广泛实验,验证了FedAttack相比许多基准方法在攻击和对抗方面的效果更好。同时,FedAttack还能够有效规避现有的联邦学习的防御和检测机制。作者指出,现有的联邦推荐方法存在安全漏洞,未来的联邦推荐系统设计需要更加安全和鲁棒。

本文最主要的创新点

本文的最主要创新点是提出了一种名为FedAttack的有效且隐蔽的投毒攻击方法,用于针对联邦推荐系统的无针对性投毒攻击。这种方法通过使用全局最难的样本来破坏模型训练。具体来说,恶意客户端首先根据本地用户配置文件推断用户嵌入。接下来,它们选择与用户嵌入最相关的候选项目作为最难的负样本,并找到与用户嵌入最远的候选项目作为最难的正样本。然后将这些投毒样本推断的模型梯度上传以进行聚合。在两个基准数据集上的大量实验表明,FedAttack可以有效降低各种联邦推荐系统的性能,同时无法被许多现有方法有效检测或防御。

Privacy Matters: Vertical Federated Linear Contextual Bandits for Privacy-Protected Recommendation

KDD-23 CCF-A
本文的主要内容是研究在隐私保护的情况下构建垂直联邦学习模型的在线推荐系统。文章提出了一种名为O3M的隐私增强技术,通过对用户信息进行加密保护,实现了在垂直联邦设置下的个性化推荐。研究表明,这种方法能够在保护隐私的同时保持推荐性能,并且通过使用来自其他参与者的数据,可以进一步改善推荐质量。

本文最主要的创新点

本文的主要创新点是提出了一种名为Orthogonal Matrix based Mask Mechanism(O3M)的方法,用于在垂直联邦设置下保护用户隐私的推荐系统。O3M通过在不损失效率和统计效用的情况下进行私密计算,实现了在垂直联邦学习中的上下文多臂老虎机问题。这使得在保护用户隐私的同时,实现了类似于集中式多臂老虎机的性能。此外,O3M降低了计算和通信成本,使得在垂直联邦设置下的推荐系统更加高效。

Privacy-Preserving Hierarchical Federated Recommendation Systems

本文主要介绍了一个基于分层联合协同过滤的隐私保护推荐系统框架。文章提出了一种采用联邦学习的方式进行推荐模型训练,以隔离用户原始数据,并采用count sketch和差分隐私技术来保护用户数据的隐私。通过这个框架,服务器可以通过隐私保护和成本效益的分布式学习方式为大规模网络中的用户进行推荐决策。

本文最主要的创新点是什么?

  • 提出了一种基于分层联邦协同过滤的隐私保护层次化联邦协同过滤方案(HFCCD),既能保护用户隐私,又能降低通信开销,适用于大规模网络。
  • 引入了计数草图(Count Sketch)方法,用于压缩和模糊项目特征向量的梯度,从而减少通信开销和保护用户隐私。
  • 采用差分隐私(Differential Privacy)技术来保护上传的用户因子向量,从而进一步加强用户隐私保护。
  • 提供了仿真结果,评估了所提出的方案,结果表明该方案可以在保持良好推荐准确性的同时保护数据隐私并减少通信开销。

FedCDR: Privacy-preserving federated cross-domain recommendation

本文主要介绍了一种隐私保护的联邦跨领域推荐模型——FedCDR。该模型通过在用户设备上存储本地数据,减少用户的隐私担忧。同时,通过嵌入转换层和冷启动用户的表示,解决了数据稀疏和冷启动问题。文章详细介绍了FedCDR的框架和算法,并在实验中验证了其在推荐性能和隐私保护方面的有效性。

本文最主要的创新点

  • 提出了一种联邦跨域推荐(FedCDR)框架,通过将用户-项目交互数据存储在用户设备上,而不是上传到服务器,从而降低用户隐私担忧。
  • 在用户设备和服务器之间通信的参数中应用局部差分隐私(LDP)进行进一步隐私保护。
  • 设计了一种新颖的嵌入转换机制,以明确地建模源域和目标域之间的关系,基于多层感知器(MLP)在服务器上将桥用户的嵌入从源域转换到目标域。
  • 在三个真实世界数据集上进行了广泛的实验,以展示所提方法在推荐性能和隐私保护方面的有效性。

FedCDR: Federated Cross-Domain Recommendation for Privacy-Preserving Rating Prediction

CIKM 22-CCFB
本文主要介绍了一种名为FedCDR的跨领域推荐系统,旨在解决推荐系统中的冷启动问题和数据隐私问题。该系统采用联邦学习框架,允许不同域的客户端共同训练模型,从而实现跨领域的知识转移和个性化推荐,同时有效保护用户数据隐私。文章详细介绍了FedCDR的架构、工作流程、模型设计和实验结果,并讨论了其在冷启动问题和数据隐私保护方面的优势。

本论文的创新点

  • 提出了FedCDR,一个个性化的联邦跨领域推荐框架,通过在保护数据隐私的同时解决冷启动问题。
  • 设计了一个个性化的模块,为具有异质数据分布的用户提供定制化推荐。
  • 设计了一个迁移模块,在保护隐私的情况下跨不同领域传递用户偏好,以缓解冷启动问题。
  • 为迁移模块设计了一个损失函数,以充分利用用户或项目的潜在特征进行知识迁移。
  • 设计了客户端的个性化更新策略和服务器的个性化聚合策略,可以在较少的存储和通信成本下提供个性化推荐,同时有效保护隐私。

Personalized federated recommendation system with historical parameter clustering

本文主要介绍了一种个性化联邦推荐系统,并提出了历参数聚类的方法来解决联邦学习中存在的非独立同分布的。本文还介绍了推荐系统的常见架构和推荐型,并对当前主流的协同过滤和矩阵分解推荐进行了介绍。本文提出了一种基于用户嵌入特的推荐系统模型来实现跨端联邦推荐。文章还介绍了在邦推荐系统中性能瓶颈和架构决策的问题,并提出了相应的解决方案。

本文最主要的创新点:

  • 提出了一种动态聚类联邦学习方法,解决了由于用户本地数据不符合独立同分布而导致的训练模型收敛性差的问题,并与传统联邦学习方法进行了理论和实验比较。
  • 提出了一种基于用户嵌入特征的推荐系统模型,实现了跨端联邦推荐,使服务器能够使用用户嵌入特征进行个性化推荐。
  • 提出了一种联邦学习方法基于历史参数聚类,以提高联邦学习训练模型的准确性,解决了联邦学习中的不独立同分布问题。
  • 使用时间衰减因子分析了一段时间内产生的数据,以便在本地训练中更好地利用历史聚类信息。
  • 在MovieLens-1M数据集上进行了实验,与传统联邦学习方法进行了比较,实验结果表明,所提出的联邦推荐系统在准确性上有所提高,并优于基于传统联邦学习的跨端联邦个性化推荐。

Secure Federated Matrix Factorization

本文主要介绍了一种安全的分布式矩阵分解方法,称为FedMF(Federated Matrix Factorization)。该方法采用联邦学习和同态加密技术,实现了在保护用户隐私的前提下进行矩阵分解。文章首先证明了在分布式矩阵分解系统中,用户将梯度以明文形式发送给服务器会泄露用户的评分信息。然后,文章设计了基于同态加密的安全矩阵分解框架,通过在用户设备上进行梯度计算并使用同态加密对梯度进行加密,保证了用户隐私的安全性。实验结果表明,FedMF的时间效率是可接受的,并且与传统的矩阵分解方法相比,几乎没有损失预测准确度。

本文创新点

本文最主要的创新点是提出了一种名为FedMF(Federated Matrix Factorization)的安全矩阵分解框架,它结合了分布式机器学习和同态加密方案。FedMF允许每个用户在本地计算其评分信息的梯度,然后上传梯度(而不是原始数据)到服务器进行训练。为了增强安全性,每个用户可以使用同态加密对梯度进行加密。FedMF克服了传统混淆或加密方法的两个缺点:(i)不会损失预测精度,因为我们不会混淆数据;(ii)不需要第三方加密服务提供商,因为每个用户的设备可以处理安全的梯度计算任务。

Personalized Subgraph Federated Learning

本文主要介绍了一种针对分布式图神经网络训练的新方法——个性化子图联邦学习(personalized subgraph Federated Learning,简称PSFL),旨在解决分布式图神经网络训练过程中不同子图之间信息共享的问题。为了实现这一目标,文章提出了一种称为FEDerated Personalized sUBgraph learning(FED-PUB)的新框架,该框架可以在不共享数据的情况下,利用随机图上的GNN模型来计算子图之间的相似度,并将这些相似度用于在服务器端进行模型参数集成。此外,FED-PUB 还利用可学习的稀疏掩码机制来选择并更新只与子图相关的参数集。研究结果表明,该方法在多个数据集上的表现显著优于当前相关基线。

本文创新点

  • 提出了一种新的子图联邦学习问题:个性化子图联邦学习,关注联合改进相互关联的局部图神经网络(GNNs),而不是学习单一全局模型。
  • 提出了一种新颖的框架:FEDerated Personalized sUBgraph learning(FED-PUB),用于解决个性化子图联邦学习问题。
  • 通过使用局部GNN的功能嵌入来计算相似性,实现了在不访问每个客户端子图的情况下进行子图相似性估计。
  • 通过在客户端学习个性化的稀疏掩码,仅选择和更新与聚合参数相关的子图相关子集,从而解决了子图联邦学习中的知识崩溃问题。
  • 总之,本文通过提出个性化子图联邦学习问题和相应的FED-PUB框架,解决了现有子图联邦学习方法在处理子图间异构性方面的问题,从而在多个数据集上显著提高了子图联邦学习的性能。

PerFedRec++: Enhancing Personalized Federated Recommendation with Self-Supervised Pre-Training

本文的主要内容是介绍了一个名为PerFedRec++的个性化联邦推荐框架,旨在解决个性化推荐系统中的性能退化和通信成本高的挑战。该框架通过预训练过程增强模型性能和减轻通信负担,并利用用户-物品交互数据学习用户表示,并将相似用户分组并分配群集级别和全局推荐模型以获得个性化推荐。实验证明了PerFedRec++在真实数据集上的有效性和高效性。

本文创新点

  • 提出了一种新的个性化联邦推荐框架PerFedRec++,通过自监督预训练学习更均匀的表示,从而提高模型性能并减轻通信负担。
  • 针对异构性挑战,PerFedRec++使用用户-项目交互来学习用户表示,将相似的用户分组到簇中,并分配簇级和全局推荐模型以获得个性化推荐。
  • 在三个真实世界数据集上进行了广泛的实验,证明了PerFedRec++在有效性和效率方面优于现有的多种方法。
  • 通过采用局部差分隐私技术,PerFedRec++能够在保护用户隐私的同时实现满意的模型性能。

Exploiting Data Sparsity in Secure Cross-Platform Social Recommendation

NeurIPS 2021 CCF-A
本文主要介绍了一种针对跨平台社交推荐的稀疏数据利用方法,提出了一个名为S3 Rec的框架,并通过两个安全的稀疏矩阵乘法协议来提高模型训练的效率。文章通过实验验证了S3 Rec相比于现有方法在计算时间和通信量方面的显著改进。

本文创新点

  • 提出了S3Rec(Sparsity-aware Secure Cross-platform Social Recommendation)框架,实现了在不同平台之间进行安全且高效的社交推荐,同时解决了数据稀疏性问题。
  • 设计了两种基于同态加密和私有信息检索的安全稀疏矩阵乘法协议,用于提高模型训练效率。
  • 通过在两个流行的数据集上进行实验,证明了S3Rec相较于现有的最佳实践方法,在计算时间和通信大小方面平均提高了40倍和423倍。

PrivateRec: Differentially Private Model Training and Online Serving for Federated News Recommendation

本文的主要内容是介绍了一种名为PrivateRec的差分隐私联邦新闻推荐系统的训练和在线服务框架。当前的推荐系统依赖于用户行为数据来个性化推荐新闻文章,但这涉及到用户隐私和信任问题。为了解决这个问题,PrivateRec提出了一种隐私保护的联邦训练和在线服务机制,通过将用户嵌入向量分解为低维注意力向量,并引入随机填充机制来降低噪声影响,从而提高推荐系统的效用和隐私保护性能。

本文创新点

  • 提出了一个名为PrivateRec的新颖且统一的框架,实现了理论上的隐私保护和良好的推荐性能,适用于联邦新闻推荐系统的训练和服务阶段。
  • 设计了针对联邦训练和服务的隐私保护机制,以实现可接受的推荐性能。PrivateRec通过将用户嵌入分解为较低维度的注意力向量来避免维度诅咒,同时通过随机填充机制进一步减小注入的噪声,从而提高性能。
  • 通过大量实验和分析,验证了PrivateRec在训练和服务阶段的显著性能提升。在极强隐私保护下的性能下限提高了5-11%。

Dual Personalization on Federated Recommendation

IJCAI-23 CCF-A
本文主要介绍了一种新的个性化联邦推荐框架PFedRec,旨在同时学习部署在终端设备上的多个用户特定的推荐模型。该框架采用了双重个性化机制,即通过个性化的评分函数和个性化的物品嵌入来实现细粒度的个性化。作者通过实验证明,与现有的联邦推荐方法相比,PFedRec在多个数据集上取得了更好的推荐性能。

本文的主要创新点

  • 提出了一种新的个性化联邦推荐(PFedRec)框架,旨在在智能设备上学习多个用户特定的轻量级模型,而不是在服务器上学习一个重量级模型。
  • 设计了一种新的双重个性化机制,通过个性化评分函数和项目嵌入的细粒度个性化来捕捉用户偏好。这一机制可以与其他基线方法结合,以提高它们的性能。
  • 提出了一个新的联邦推荐框架,将个性化评分函数与个性化项目嵌入相结合,通过共享的项目嵌入进行轻微微调。
  • 实验证明了PFedRec及双重个性化机制的有效性,为在联邦设置中设计推荐系统提供了新的视角。

Federated Learning-Based Cross-Enterprise Recommendation With Graph Neural Networks

本文的主要内容是介绍了一种基于图神经网络和联邦学习的跨企业推荐方法。文章通过在Ciao和Epinions两个经典数据集上进行实验,评估了该方法的推荐性能。文章还提出了一种损失加权的联邦聚合算法,用于改善参与者之间的性能不平衡,并设计了一种动态更新的损失注意力方法,提高了系统的公平性和稳定性。

本文的主要创新点

  • 提出了一种基于联邦学习和图神经网络的跨企业推荐方法,结合了联邦学习的分布式训练优势和图神经网络在图结构数据上的优越性能。
  • 设计了一个动态损失注意力的联邦聚合算法,适用于具有显著异构图结构和特征的图数据,通过关注训练损失来聚合参数,从而提高系统公平性和稳定性。
  • 提出了一种动态更新损失注意力的方法,以改善系统公平性和稳定性,并在训练过程中降低损失权重对参数聚合的影响。
  • 在实验部分,通过在不同的GNN变体上测试FL-GMT,证明了该框架的有效性和适应性,同时证明了GAT与所提出的框架的结合可以为用户提供更可靠的推荐。

Federated Meta Embedding Concept Stock Recommendation

本文主要介绍了一种隐私保护的概念股票推荐方法,该方法利用联邦学习从私人论坛评论和公共社交媒体中学习概念-股票表示。文章提出了两种方法:联邦元嵌入(FedME)和联邦图元嵌入(FedGME),并通过实验证明了这两种方法在推荐准确性和隐私保护方面的优势。

本文最主要的创新点是什么?

  • 提出了一种联邦元嵌入方法(FedME),通过结合公共社交媒体和论坛评论数据来推荐概念股票,从而解决了概念股票推荐这一独特且具有挑战性的任务。
  • 提出了一种基于图的元嵌入方法(FedGME),通过在图上学习两个嵌入源和人类专家的概念股票知识,以提高推荐性能。这是首个基于图的元嵌入方法。
  • 通过使用同态加密技术,实现了跨多个论坛的隐私保护股票评论数据的聚合,解决了跨论坛数据共享可能导致的隐私问题。
  • 通过实验证明了所提方法在推荐准确性、隐私保护和泛化能力方面的优越性。

Federated Social Recommendation with Graph Neural Network

ACM-TIST CCF-B
本文的主要内容是介绍了一种基于图神经网络的联邦社交推荐方法(FeSoG)。该方法旨在解决社交推荐中的异质性、个性化和隐私保护等挑战。文章首先介绍了社交推荐和联邦学习的相关工作和背景知识,然后提出了FeSoG的框架和优化过程。接着,文章进行了大量的实验来评估FeSoG的效果,并与其他方法进行了比较。实验结果表明,FeSoG在多个数据集上显著优于现有的联邦推荐系统。

本文的主要创新点是

  • 提出了一个联邦学习框架(FeSoG),用于解决社交推荐问题,据我们所知,这是首次提出这样的框架。
  • 通过使用关系注意力和聚合技术来处理异构性,从而在联邦学习推荐系统中实现社交推荐。 通过使用局部数据推断用户嵌入,以保留个性化特征。
  • 使用伪标签技术和项目采样来保护隐私并增强训练过程。
  • 通过在三个实际数据集上进行的广泛实验,证明了FeSoG在完成社交推荐和保护隐私方面的有效性。

FedFast: Going Beyond Average for Faster Training of Federated Recommender Systems

KDD20 CCF-A
本文主要介绍了一种名为FedFast的方法,用于在联邦学习框架下更高效地训练推荐系统模型。作者提出了一种新的策略来选择训练模型的用户子集,以提高训练速度,同时不损失准确性。作者通过实验证明了FedFast在推荐质量和训练速度方面的优势。文章还介绍了FedFast的两个关键组件:ActvSAMP和ActvAGG。

本文创新点

本文最主要的创新点包括以下两个方面:

  • ActvSAMP:一种新颖的用户选择方法,用于在每轮训练中更好地选择参与训练的用户。
  • ActvAGG:一种智能的模型聚合方法,可以加速训练过程,提高推荐系统模型的收敛速度。
    通过这两个创新组件,FedFast框架实现了在保证用户获得更准确推荐的同时,加速了推荐模型的收敛速度。

FedGNN: Federated Graph Neural Network for Privacy-Preserving Recommendation

这篇文章的主要研究方法是提出了一个名为FedGNN的联邦图神经网络框架,用于保护隐私的推荐。FedGNN可以从分散的用户数据中集体训练图神经网络模型,同时利用高阶用户-项目交互信息,同时保护用户隐私。具体而言,该方法在每个用户客户端基于本地存储的用户-项目图案进行局部训练GNN模型。每个客户端将计算的局部梯度上传到服务器进行聚合,然后将其发送回用户客户端进行本地更新。文章还提出了一种保护用户隐私的用户-项目图扩展方法,以便在保护隐私的方式下寻找具有共同互动项目的邻近用户并交换嵌入以扩展本地用户-项目图。在六个基准数据集上进行的大量实验证明,该方法可以在保护用户隐私的同时,实现与现有基于集中存储用户-项目交互数据的方法相媲美的竞争性能。

论文主要创新点

  • 提出了一个用于隐私保护的GNN-based推荐的联邦框架,可以从分散的用户数据中集体训练GNN模型,同时利用高阶用户-项目交互信息并保护用户隐私。
  • 提出了一种保护用户-项目图扩展方法,以便在保护隐私的方式下从分散的用户数据中利用高阶用户-项目交互信息。
  • 通过在六个基准数据集上进行的大量实验,证明了该方法可以实现与现有基于集中存储用户-项目交互数据的GNN-based推荐方法相媲美的竞争性能,同时有效地保护用户隐私。

Personalized Federated Recommendation via Joint Representation Learning, User Clustering, and Model Adaptation

本文的主要内容是提出了一种基于图神经网络的个性化联邦推荐框架(PerFedRec),通过联合表示学习、用户聚类和模型适应来实现个性化的联邦推荐。具体而言,作者构建了一个协作图,并通过联邦图神经网络联合学习表示。基于这些学习到的表示,作者将用户划分为不同的用户群组,并为每个群组学习个性化模型。然后,每个用户通过将全局联邦模型、群组级联邦模型和用户的本地模型相结合来学习个性化模型。为了减轻通信负担,作者从每个群组中智能地选择几个代表性用户参与训练。实验结果表明,与现有方法相比,所提出的方法在真实数据集上取得了更好的性能。

本文试图解决什么问题?

论文试图解决的问题是如何在联邦推荐系统中实现个性化推荐,以提高推荐性能并保护用户隐私。为了解决这个问题,作者提出了一个基于图神经网络的个性化联邦推荐(PerFedRec)框架,通过联合表示学习、用户聚类和模型自适应实现个性化推荐。此外,该方法通过从每个聚类中智能地选择几个代表性用户(而不是随机选择的用户)参与训练,以减轻重重的通信负担。在真实世界数据集上的实验证明了所提出方法的优越性能。

本文的主要创新点是什么?

  • 提出了一个基于图神经网络(GNN)的个性化联邦推荐(PerFedRec)框架,通过联合表示学习、用户聚类和模型自适应实现个性化推荐,从而适应用户局部数据和资源的异质性。
  • 通过GNN从用户的协作信息和属性信息中学习表示,有助于聚类相似用户并学习个性化模型。
  • 从每个聚类中精心选择几个代表性用户(而不是随机选择的用户)参与训练,以减少通信成本,特别适合带宽有限、低延迟要求的应用。
  • 所提出的方法在几个真实世界数据集上的性能优于现有方法。
  • 25
    点赞
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值