LLM数据投毒缩放率：研发针对大模型投毒防御的迫切性

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Scaling Laws for Data Poisoning in LLMs

本文研究了大型语言模型（LLMs）在数据中毒攻击下的表现。研究发现，LLMs容易受到数据中毒的影响，这种攻击通过让模型在部分受损或有害的数据上进行训练来实现。中毒数据难以检测，能够绕过安全限制，导致不可预见且有危害的行为。考虑到领先实验室正在努力训练和部署越来越大型和强大的LLMs，研究数据中毒风险是否会随着规模的扩大而自然降低，或者这是否是一个日益增长的威胁至关重要。文章考虑了三种数据中毒可能发生的方式：恶意微调、数据策展的不完善和故意数据污染，并通过实验评估了这三种威胁模型对23个前沿LLMs的影响，这些LLMs的参数规模从15亿到720亿不等，使用了三个相关数据集。研究发现，更大的LLMs越来越容易受到中毒的影响，即使受到最小的数据中毒攻击，也能更快地学习有害行为，包括“潜伏代理”行为。这些结果强调了在更大的LLMs中建立健壮的安全防线以防止数据中毒的必要性。

链接：https://www.aminer.cn/pub/66b2d8ad01d2a3fbfcf3a594/?f=cs

2.Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters

本文研究了在大型语言模型（LLM）中推理时间计算的扩展问题。研究重点是回答一个关键问题：如果允许LLM使用固定但非微不足道的推理时间计算，它可以在一个具有挑战性的提示上提高其性能的程度是多少？这个问题不仅关系到LLM可达到的性能，而且关系到LLM预训练的未来以及如何权衡推理时间和预训练计算。尽管这个问题很重要，但很少有研究试图理解各种推理时间推断方法的增长行为。此外，现有工作在很大程度上为这些策略提供了负面的结果。本文分析了两种主要的扩展推理时间计算的机制：（1）针对密集、基于过程的验证器奖励模型进行搜索；（2）根据测试时的提示适当地更新模型响应的分布。我们发现，在这两种情况下，不同方法扩展推理时间计算的有效性严重依赖于提示的难度。这一观察促使采用一种“计算优化”的扩展策略，该策略最有效地根据每个提示适当地分配推理时间计算。采用这种计算优化策略，与最佳N次基线相比，我们可以将推理时间计算的扩展效率提高4倍以上。此外，在FLOPs匹配的评估中，我们发现，对于那些较小的基本模型在某种程度上取得非微不足道成功率的问题，推理时间计算可以用来超越一个14倍大的模型。

链接：https://www.aminer.cn/pub/66b2d8b401d2a3fbfcf3b061/?f=cs

3.500xCompressor: Generalized Prompt Compression for Large Language Models

这篇论文介绍了一种名为500xCompressor的方法，旨在压缩大型语言模型（LLM）的输入提示，以提高推理速度、降低成本和改善用户体验。现有方法面临的问题包括压缩比低和评估过程中可能的数据泄露。500xCompressor能将大量的自然语言上下文压缩成一个或多个特殊的令牌，引入约0.3%的额外参数，实现6倍至480倍的压缩比。该方法适用于压缩任何文本，回答各种类型的问题，并且不需要对原始的LLM进行微调即可使用。研究首先在Arxiv语料库上预训练500xCompressor，然后在ArxivQA数据集上微调，并在未见过的严格问题和经典问答（QA）数据集上进行评估。结果显示，与使用非压缩提示相比，LLM保持了62.26-72.89%的能力。研究还表明，并非所有压缩的令牌都被同等利用，K V值在高压缩比下比嵌入更能保留信息。即使对于细粒度的复杂信息，自然语言提示的高度压缩性质也表明了未来应用和进一步研究开发新型LLM语言的潜力。

链接：https://www.aminer.cn/pub/66b2d8b401d2a3fbfcf3afed/?f=cs

4.From LLMs to LLM-based Agents for Software Engineering: A Survey of Current, Challenges and Future

随着大型语言模型（LLM）的兴起，研究人员越来越探索其在各种垂直领域中的应用，如软件工程。LLM在代码生成和漏洞检测等领域取得了显著成功。然而，它也存在许多局限性和不足之处。LLM基础的智能体是一种具有人工智能通用（AGI）潜力的新型技术，将LLM作为决策和采取行动的核心，解决了一些LLM固有的局限性，如自主性和自我改进的缺乏。尽管有众多研究探索了在软件工程中使用LLM的可能性，但目前尚缺乏对LLM和基于LLM的智能体之间明确区分。对于统一标准和基准来说，将LLM解决方案作为领域中的LLM基础的智能体还处于初级阶段。在本次调查中，我们广泛研究了LLM和基于LLM的智能体在软件工程中的当前实践和解决方案。特别是我们总结了六个关键主题：需求工程、代码生成、自主决策、软件设计、测试生成和软件维护。我们回顾并区分了LLM和基于LLM的智能体在这六个主题上的工作，检查了它们在任务、基准和评估指标上的异同。最后，我们讨论了所使用的模型和基准，全面分析了它们在软件工程中的应用和有效性。我们期待这项工作将有助于推动LLM基础的智能体在软件工程中的研究边界。

链接：https://www.aminer.cn/pub/66b1847401d2a3fbfc600c85/?f=cs

5.LLaVA-OneVision: Easy Visual Task Transfer

本文介绍了一种名为LLaVA-OneVision的开源大型多模态模型，该模型通过整合LLaVA-NeXT博客系列中对数据、模型和视觉表示的研究洞察而开发。实验结果表明，LLaVA-OneVision是首个能够在三个重要的计算机视觉场景（单图像、多图像和视频场景）同时推动开源LMMs性能边界的单一模型。重要的是，LLaVA-OneVision的设计允许在不同模态/场景之间进行强大的迁移学习，产生新的新兴能力。特别是，通过从图像到视频的任务迁移，展示了强大的视频理解和跨场景能力。

链接：https://www.aminer.cn/pub/66b2d8b401d2a3fbfcf3b065/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs