LLM精准记忆长序列：法律和隐私问题的探讨

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Keep the Cost Down: A Review on Methods to Optimize LLM’ s KV-Cache Consumption

本文综述了大型语言模型（LLM）在处理长文本时，如何通过优化KV-Cache（键值缓存）来降低成本的方法。KV-Cache是一种关键解决方案，它将令牌生成的复杂度从二次方降低到一次方，尽管这会增加与对话长度成比例的GPU内存开销。随着LLM社区和学术界的发展，已经提出了各种KV-Cache压缩方法。本文分析了KV-Cache的各种特性，并详细阐述了目前用于优化LLM的KV-Cache空间使用方法的各个方面。这些方法涵盖了预训练阶段、部署阶段和推理阶段，并总结了这些方法之间的共同点和差异。此外，本文还列出了一些评估大型语言模型长文本能力的指标，从效率和能力两个角度进行考虑。因此，本文对LLM优化领域的演变趋势进行了探讨，为未来在这个动态领域中的进一步发展提供了洞见。

链接：https://www.aminer.cn/pub/66a302d601d2a3fbfc461d6e/?f=cs

2.Reinforced Prompt Personalization for Recommendation with Large Language Models

这篇论文探讨了如何通过大型语言模型（LLM）来优化推荐系统的 prompt 设计，以更好地理解用户偏好并做出推荐。现有的研究主要关注任务特定的提示（task-wise prompting），即使用固定的提示模板来捕捉用户需求。然而，这种方法忽略了用户的个体差异，可能导致推荐的不准确。为了克服这一问题，论文提出了实例特定的提示个性化方法（instance-wise prompting），并引入了强化学习（Reinforcement Learning，RL）的概念，通过多智能体强化学习（Multi-Agent Reinforcement Learning，MARL）来优化提示模板中的四个模式（角色扮演、历史记录、推理指导和输出格式）。为了提高效率，所提出的 Reinforced Prompt Personalization（RPP）方法不是逐字优化提示，而是整体选择四个模式中最优的句子。同时，为了保证提示的质量，RPP 精心设计了每个模式下的多样化表达，考虑了特定推荐任务的多角度分析。此外，还提出了 RPP+，它通过动态地细化动作来扩大动作空间，以提高可扩展性。研究通过在多个数据集上的排名任务评估了 RPP/RPP+ 的有效性，结果显示它比传统的推荐模型、少样本方法和基于提示的其他方法都要优秀，证明了在推荐任务中使用实例特定的提示个性化对于 LLM 的重要性，并验证了 RPP/RPP+ 的有效性。

链接：https://www.aminer.cn/pub/66a1b12601d2a3fbfc21f443/?f=cs

3.Internal Consistency and Self-Feedback in Large Language Models: A Survey

本文对大型语言模型（LLM）内部一致性和自我反馈进行了综述。虽然大型语言模型被期望能准确回应，但它们常常表现出推理不足或生成虚构内容的问题。为了应对这些问题，"Self-"前缀的研究如自我一致性、自我改进和自我优化等已经启动。这些研究有一个共同点：都涉及到LLM评估和更新自己，以减轻这些问题。然而，这些努力在总结方面缺乏一个统一的视角，因为现有的综述主要关注分类，而没有考察这些工作的背后的动机。

链接：https://www.aminer.cn/pub/669dbc8001d2a3fbfca42378/?f=cs

4.Recursive Introspection: Teaching Language Model Agents How to Self-Improve

本文介绍了一种新方法，通过迭代微调过程，教会大型语言模型（LLM）如何在更多的计算或交互过程中反思自己的行为、推理并纠正错误，以实现智能自主行为。尽管之前的研究认为这种能力可能无法实现，但本文提出的RISE方法（递归内省）成功地实现了这一目标。RISE将单轮提示的微调视为解决多轮马尔可夫决策过程（MDP），其中初始状态是提示。受到在线模仿学习和强化学习的原则启发，我们提出了多轮数据收集和训练策略，使LLM具有在后续迭代中递归检测和纠正先前错误的能力。实验结果表明，RISE成功使Llama2、Llama3和Mistral模型在数学推理任务上通过更多轮次自我改进，且在同等量的推理时间计算下，性能优于几种单轮策略。我们还发现，RISE具有良好的可扩展性，通常随着更强大模型的使用而获得更大的收益。分析显示，RISE在不影响单轮能力的情况下，对挑战性的提示做出了有意义的改进，以达到正确的解决方案，表达更复杂的分布。

链接：https://www.aminer.cn/pub/66a302d701d2a3fbfc461eaa/?f=cs

5.Demystifying Verbatim Memorization in Large Language Models

这篇论文探讨了大型语言模型（LLM）是如何精准记忆长序列的，并指出这种现象可能带来严重的法律和隐私问题。作者开发了一个框架，在控制环境下通过继续预训练来研究这种精准记忆，他们发现：1）为了实现精准记忆，需要有相当数量的重复；2）即使是分布外的序列，后期（假设更优）的检查点也更可能精准记忆；3）记忆序列的生成是由分布式模型状态触发的，这种状态编码了高级特征，并充分利用了通用语言建模能力。基于这些洞察，作者开发了压力测试来评估遗忘方法，并发现这些方法往往无法移除精准记忆的信息，同时也会降低LLM的质量。总的来说，这些发现挑战了精准记忆源于特定模型权重或机制的假设。实际上，精准记忆与LLM的通用能力紧密相关，因此，在不降低模型质量的情况下，很难将其隔离和抑制。

链接：https://www.aminer.cn/pub/66a302d601d2a3fbfc461c1c/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs