针对大语言推荐模型的精确高效遗忘学习

TLDR: 为解决基于大语言模型的推荐系统的遗忘学习问题，本文引入了适配器分区和聚合（APA）框架，可以在保持推荐性能的同时实现精确高效的遗忘学习。

论文：arxiv.org/abs/2404.10327

使用推荐数据对大语言模型进行参数高效微调（PEFT）已成为基于大语言模型的推荐系统（LLMRec）的基本范式。例如下图所示，TALLRec采用LoRA调优技术，通过指令数据中的推荐来使LLM与推荐任务保持一致。

然而，其中包含用户数据引发了隐私问题。为保护用户隐私，从LLMRec模型中删除不可用的数据（例如历史行为）变得至关重要。现有的遗忘学习方法不足以满足LLMRec的独特特征，其主要原因是遗忘计算成本较高或数据遗忘不彻底。

为此，本文引入了适配器分区和聚合（Adapter Partition and Aggregation，APA）框架，以实现精确高效的 LLMRec遗忘，同时保持整体推荐性能。APA在分区的训练数据分片上训练各自独立的适配器，并在推理过程中利用适配器聚合后的权重。整个框架如下图所示。

分区： APA根据训练数据的语义特征将其划分为平衡的异构分片，以利于保持推荐性能。

聚合： 对每个测试样本采用样本自适应方法，根据适配器在类似样本上的性能来分配适配器注意力，以优先考虑性能较高的适配器，从而提高整体性能。

值得注意的是，与传统的遗忘方法不同，本文的自适应聚合不需要额外的训练，从而避免了额外的遗忘成本。

大量的实验证实了所提出的框架的有效性和高效性：

1. 将APA的准确性与基线的准确性进行比较，表明其遗忘过程中维持推荐性能的能力更强。与重训练方法相比，性能损失更少，也表明性能更好。

2. APA不但显著提高了遗忘速率，同时还提高了推理效率。

3. 利用语义进行分区可以确保数据分片更好的异构性，以更好地聚合，从而提高推荐性能。同时使用权重分配以聚合来自不同子适配器的知识也会提高性能。

4. 随着数据分片大小的减小，遗忘学习时间显著减少。但推荐性能在减小前相对来说更加稳定。

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓