LLM零样本学习：决策边界不平滑问题的发现

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Probing the Decision Boundaries of In-context Learning in Large Language Models

这篇论文探讨了大型语言模型（LLM）中的现场学习决策边界。现场学习是大型语言模型泛化的关键范式，它通过仅用几个示例提示模型，而不进行显式参数更新，使模型能够泛化到新的任务和领域。本文提出了一种新的机制，从现场二分类的决策边界视角探测和理解现场学习。决策边界容易可视化，并提供了关于标准分类器的归纳偏置的定性行为的重要信息。作者惊奇地发现，无论在底层任务中是否线性可分，当前LLM在简单二分类任务中学习的决策边界通常是不规则和非平滑的。本文研究了影响这些决策边界的因素，并探索了增强它们泛化能力的方法。我们评估了各种方法，包括LLM的训练自由和微调方法，模型架构的影响，以及使用主动提示技术平滑决策边界的有效性。研究结果为现场学习动态提供了更深入的理解，并为增强现场学习的鲁棒性和泛化能力提供了实际改进。

链接：https://www.aminer.cn/pub/6670ea1301d2a3fbfc3d5017/?f=cs

2.RL on Incorrect Synthetic Data Scales the Efficiency of LLM Math Reasoning by Eight-Fold

本文通过实证研究调查了在合成数据上训练模型对数学推理的作用，然后构建了我们对这些观察的概念理解。首先，我们发现，在有能力模型的生成的正确或积极的题目-解决方案对上进行微调，虽然能带来一些性能提升，但如果从微调后的学习者本身采样更多的正确解决方案，然后在此基础上进行后续微调，可以使同样合成问题的效率翻倍。同时，在模型生成的积极数据上训练可能会放大各种伪相关性，导致数据量增加时呈现平坦甚至反比趋势。令人惊讶的是，我们还发现，如果我们同时利用负响应，即最终答案验证器认为不正确的模型生成响应，这些问题中的几个可以得到解决。关键的是，这些负响应必须构建得使训练能够适当地恢复每个中间步骤的效用或优势。采用这种按步骤方案，我们能够取得仅用积极数据时的一致收益，性能类似于将合成数据量扩大8倍。我们展示了在按步骤负响应上训练可以帮助 unlearn 积极数据中的伪相关性，并且等同于加权优势强化学习（RL），这暗示它继承了RL相对于仅模仿积极数据的鲁棒性优势。

链接：https://www.aminer.cn/pub/6674ef2501d2a3fbfc0b6437/?f=cs

3.From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models

这篇论文概要探讨了在大型语言模型（LLMs）的现代研究中，训练时扩大计算规模会导致更好的结果这一显著发现。然而，研究在推理阶段扩大计算规模所带来的好处却较少被关注。本文专注于这些推理时间方法。在统一的数学形式下，我们探讨了三个领域：令牌级生成算法、元生成算法和高效生成。令牌级生成算法，通常称为解码算法，通过逐个采样令牌或构建令牌级搜索空间然后选择一个输出。这些方法通常假设可以访问语言模型的对数似然、下一个令牌分布或概率分数。元生成算法在部分或完整序列上工作，引入领域知识，允许回溯，并将外部信息整合进来。高效生成方法旨在减少令牌成本并提高生成速度。我们的调查统一了来自三个研究社区的视角：传统自然语言处理、现代LLMs和机器学习系统。

链接：https://www.aminer.cn/pub/667a253f01d2a3fbfc71560a/?f=cs

4.Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs

本文介绍了一种名为Cambrian-1的多模态大型语言模型(MLLM)家族,采用以视觉为中心的设计方法。过去的研究中,视觉组件的设计选择常常未被充分探索,并且与视觉表征学习研究脱节,这阻碍了在现实场景中准确的感觉接地。本研究使用大型语言模型和视觉指导调优作为界面,评估不同的视觉表征,从而提供了对不同模型和架构(自监督、强监督或它们的组合)的新见解。我们对现有的MLLM基准进行了批判性分析,并引入了一种新的视觉为中心的基准CV-Bench。为了进一步提高视觉接地效果,我们提出了一个名为空间视觉聚合器(SVA)的动态、空间感知连接器,它将高分辨率视觉特征与LLM集成,同时减少令牌数量。我们还讨论了从公开可用来源整理高质量视觉指导调优数据的重要性,强调了数据源平衡和分布比的重要性。总的来说,Cambrian-1不仅在性能上达到了最先进水平,而且是一个全面的、开放的指导调优MLLM食谱。我们提供了模型权重、代码、支持工具、数据集以及详细的指导调优和评估配方。我们希望我们的发布将激发和加速多模态系统和视觉表征学习的发展。

链接：https://www.aminer.cn/pub/667a253f01d2a3fbfc715623/?f=cs

5.Efficient Evolutionary Search Over Chemical Space with Large Language Model

本文研究了分子发现领域的优化问题，该问题通常难以通过传统的优化算法求解，因为其优化目标往往是不可微的。文章提出了一种新的方法，将化学感知的大语言模型（LLM）融入到进化算法（EA）中，用于优化黑盒目标。具体来说，作者重新设计了EA中的交叉和变异操作，使用在大量化学信息语料库上训练的LLM。通过在多个任务上进行实证研究，包括属性优化、分子再发现和基于结构的药物设计，证明了将LLM与EA结合使用在单目标和多目标设置下均优于所有基线模型。实验结果表明，该算法不仅提高了最终解决方案的质量，还加快了收敛速度，从而减少了所需的优化目标评估次数。

链接：https://www.aminer.cn/pub/667b75d701d2a3fbfc7f81cd/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs