LLM推理：增强个性化推荐系统

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Mission Impossible: A Statistical Perspective on Jailbreaking LLMs

本文从统计学的角度探讨了大型语言模型（LLM）的“越狱”现象。由于LLM是在大量文本数据上训练出来的，且质量控制有限，因此它们可能会表现出意想不到甚至有害的行为，如信息泄露、假新闻或仇恨言论。常见的对策称为偏好对齐，包括用精心设计的文本示例对预训练的LLM进行微调，以产生期望的行为。然而，实证证据显示，即使是偏好对齐的LLM也可能被诱导向有害行为。这种所谓的LLM“越狱”通常是通过对抗性地修改输入提示来实现的。我们的论文在统计学框架下提供了对偏好对齐和“越狱”现象的理论洞察。在我们框架下，我们首先证明了如果训练语料库中存在，预训练的LLM将模仿有害行为。在此基础上，我们引入了一个统计学上的对齐概念，并从合理假设的角度下给出了“越狱”概率的下界，表明这是无法防止的。基于我们的见解，我们提出了对目前普遍采用的对齐策略RLHF的改进。具体来说，我们在RLHF目标中引入了一个简单的修改，称之为E-RLHF，旨在提高安全响应的概率。E-RLHF不会带来额外的训练成本，且与其他方法兼容。实证结果显示，E-RLHF在AdvBench和HarmBench项目中提出的所有对齐问题上的表现优于RLHF，而且在不牺牲模型性能（如MT-Bench项目所示）的情况下，实现了这一改进。

链接：https://www.aminer.cn/pub/66b0343c01d2a3fbfcdd1db9/?f=cs

2.Leveraging LLM Reasoning Enhances Personalized Recommender Systems

本文研究了如何利用大型语言模型（LLM）的推理能力来增强个性化推荐系统。尽管目前的研究已经显示了LLM在执行推理任务方面的潜力，尤其是在通过Chain-of-Thought（CoT）提示的情况下，但将LLM推理应用于推荐系统（RecSys）面临着独特的挑战。因为RecSys的任务主要围绕主观性和个性化偏好展开，这是利用LLM推理能力的一个未被充分探索的领域。我们研究了几个方面，以更好地理解RecSys中的推理，并证明在零样本和微调设置中利用LLM推理可以提高任务质量。此外，我们提出了RecSAVER（推荐系统自动验证和评估推理）来自动评估LLM推理响应的质量，无需 curated gold references或人类评分者。我们显示，我们的框架与人类对推理响应的连贯性和忠诚度判断相一致。总的来说，我们的工作表明，将推理纳入RecSys可以提高个性化任务，为推荐系统方法学的进一步发展铺平了道路。

链接：https://www.aminer.cn/pub/66b033bb01d2a3fbfcdc073b/?f=cs

3.WHITE PAPER: A Brief Exploration of Data Exfiltration using GCG Suffixes

本文探讨了使用GCG后缀进行数据泄露的问题。跨提示注入攻击（XPIA）是一种有效的数据泄露技术，其使用越来越频繁。在这种攻击中，攻击者向第三方数据中注入恶意指令，当大型语言模型（LLM）协助受害者用户时，该恶意指令可能会被消费。XPIA通常被用作数据泄露的手段，据估计，企业平均数据泄露的成本接近450万美元，其中包括 compromised enterprise credentials等泄露事件。随着基于梯度的攻击（如GCG后缀攻击）的出现，使用GCG后缀的XPIA发生的风险令人担忧地高。作为微软AI红队的一员，我在模拟的XPIA场景中展示了一个可行的攻击模型，该模型使用GCG后缀与注入相结合。结果显示，GCG后缀的存在可以将成功的数据泄露几率提高近20%，但也存在一些前提条件。
链接：https://www.aminer.cn/pub/66b033d101d2a3fbfcdc3fe7/?f=cs

4.Low-code LLM: Graphical User Interface over Large Language Models

本文提出了一种新的人与大型语言模型（LLM）交互框架——低代码LLM。该框架通过将六种简单的低代码视觉编程交互融入其中，实现了更加可控和稳定的响应。用户可以通过图形用户界面进行视觉交互，将他们的想法融入到过程中，而无需编写琐碎的提示。该低代码LLM框架包括一个规划LLM，它为复杂任务设计一个结构化的规划工作流程，用户可以通过低代码视觉编程操作相应地编辑和确认，还有一个执行LLM，它根据用户确认的工作流程生成响应。该框架有三个主要优点：用户友好的交互、可控的生成和广泛的适用性。我们通过四个典型应用来展示其优势。通过引入这个框架，我们旨在弥合人与LLM之间的差距，使LLM能够更有效地用于复杂任务。代码、提示和实验细节可在大纲中找到。

链接：https://www.aminer.cn/pub/643e0ad10746dc40e3419498/?f=cs

5.Data Interpreter: An LLM Agent For Data Science

本文介绍了Data Interpreter，一个基于大型语言模型（LLM）的智能代理，专为数据科学场景设计。虽然LLM智能代理在许多领域表现出色，但在需要实时数据调整、任务间复杂依赖关系的优化专业知识以及精确推理中识别逻辑错误的数据科学场景中，其性能可能会受到影响。Data Interpreter通过强调三个关键技术来增强问题解决能力：1）使用层次图结构进行动态规划，实现实时数据的自适应调整；2）动态集成工具，以增强执行过程中的代码熟练度，丰富所需的专业知识；3）在反馈中识别逻辑不一致性，并通过经验记录提高效率。本文在各种数据科学和现实世界任务上对Data Interpreter进行了评估，与开源基线相比，其在机器学习任务中的表现显著提升，从0.86提高到0.95。此外，它还在https://github.com/geekan/MetaGPT上展示了26%的惊人性能提升。

链接：https://www.aminer.cn/pub/65e144ed13fb2c6cf60f4e2e/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs