2024年7月24日Arxiv语言模型相关论文

实现可扩展高效的在设备上的自动语音识别，采用迁移学习。

原标题: Towards scalable efficient on-device ASR with transfer learning

作者: Laxmi Pandey, Ke Li, Jinxi Guo, Debjyoti Paul, Arthur Guo, Jay Mahadeokar, Xuedong Zhang

机构: Meta

摘要: 多语言预训练对于转移学习显著提升了低资源单语音频识别模型的鲁棒性。本研究系统地调查了三个主要方面：(a) 转移学习对模型性能在初始训练或微调期间的影响，(b) 跨数据集领域和语言的转移学习影响，以及© 与非稀有词相比，对稀有词识别的影响。我们的发现表明，RNNT-loss 预训练，随后通过最小词错误率（MinWER）损失进行单语言微调，持续降低了意大利语和法语等语言的词错误率（WER）。相较于 MLS 和内部数据集的单语言基线，WER 降低率（WERR）分别达到了 36.2% 和 42.8%。域外预训练比域内预训练导致了 28% 更高的 WERR。稀有词和非稀有词均受益，稀有词在域外预训练下显示出更大的改进，而非稀有词在域内预训练下显示出改进。

论文链接: https://arxiv.org/abs/2407.16664

课程校正：使用合成偏好进行安全对齐

原标题: Course-Correction: Safety Alignment Using Synthetic Preferences

作者: Rongwu Xu, Yishuo Cai, Zhenhong Zhou, Renjie Gu, Haiqin Weng, Yan Liu, Tianwei Zhang, Wei Xu, Han Qiu

机构: 清华大学 中南大学 阿里巴巴集团 蚂蚁集团 南洋理工大学

摘要: 大语言模型（LLMs）生成有害内容的风险变得日益关键。本文对评估和改进LLMs执行\textbf{修正}任务的能力进行了系统研究，即模型可以自主地避免生成有害内容。首先，我们引入了\textsc{C${}^2$-Eval}基准用于定量评估，并分析了10个流行的LLMs，揭示了当前安全调整的LLMs在修正方面的不同熟练程度。为了改进，我们提出使用偏好学习对LLMs进行微调，强调对及时修正的偏好。通过自动化流程，我们创建了\textsc{C${}^2$-Syn}，一个包含75万对偏好的合成数据集，通过数据驱动的偏好学习向模型教授及时修正的概念。对两个LLMs，\textsc{Llama2-Chat 7B}和\textsc{Qwen2 7B}的实验表明，我们的方法有效地增强了修正技能，而不影响一般性能。此外，它有效地提高了LLMs的安全性，特别是在抵抗越狱攻击方面。

论文链接: https://arxiv.org/abs/2407.16637

大语言模型能否自动越狱GPT-4V？

原标题: Can Large Language Models Automatically Jailbreak GPT-4V?

作者: Yuanwei Wu, Yue Huang, Yixin Liu, Xiang Li, Pan Zhou, Lichao Sun

机构: 华中科技大学 莱哈伊大学 圣母大学

摘要: 由于其出色的多模态信息整合和处理能力，GPT-4V引起了广泛关注。与此同时，其人脸识别能力引发了新的隐私泄露安全问题。尽管研究人员通过RLHF或预处理过滤器努力进行安全对齐，但仍可能存在漏洞被利用的风险。在我们的研究中，我们引入了AutoJailbreak，这是一种受提示优化启发的创新自动越狱技术。我们利用大语言模型（LLMs）进行红队行动，以优化越狱提示，并采用弱到强的上下文学习提示来提高效率。此外，我们提出了一种有效的搜索方法，结合了提前停止以减少优化时间和令牌消耗。我们的实验表明，AutoJailbreak明显优于传统方法，攻击成功率（ASR）超过95.3%。这项研究为加强GPT-4V安全性提供了启示，强调了LLMs可能被利用来损害GPT-4V完整性的潜力。

论文链接: https://arxiv.org/abs/2407.16686

通过归因视角解释正则化

原标题: Explanation Regularisation through the Lens of Attributions

作者: Pedro Ferreira, Wilker Aziz, Ivan Titov

机构: 阿姆斯特丹大学 爱丁堡大学

摘要: 解释规范化（ER）被引入作为引导模型进行预测，使其更类似于人类的一种方式，即使它们的归因“合理”。这是通过引入辅助解释损失来实现的，该损失衡量了模型的输入归因技术的输出与相关人工注释的基本原理的一致性。使用ER的一个积极结果似乎是在域外（OOD）设置中表现出改善的性能，这可能是由于增加了对“合理”标记的依赖。然而，先前的工作在探讨ER目标对模型归因的影响时尚未得到充分探讨，特别是当使用与训练ER不同的技术获得归因时。在这项工作中，我们对ER在指导分类决策中的有效性进行了研究，以及增加合理性与对OOD条件的稳健性之间的关系。通过一系列分析，我们发现ER与分类器依赖于合理特征的能力之间的联系被夸大了，并且对合理标记的更强依赖似乎并不是任何感知到的OOD改进的原因。

论文链接: https://arxiv.org/abs/2407.16693

使用终身ICL和任务干草堆对长上下文语言模型进行压力测试

原标题: Stress-Testing Long-Context Language Models with Lifelong ICL and Task Haystack

作者: Xiaoyue Xu, Qinyuan Ye, Xiang Ren

机构: 清华大学 南加州大学

摘要: 我们引入了终身ICL，这是一个挑战长文本语言模型（LMs）通过上下文学习（ICL）从一系列语言任务中学习的问题设置。我们进一步介绍了Task Haystack，这是一个专门用于评估和诊断长文本LMs如何在终身ICL中利用上下文的评估套件。在给定任务说明和测试输入时，预期长文本LMs能够利用终身ICL提示中的相关演示，避免其他任务的干扰和干预，并且实现的测试准确性不明显低于单任务ICL基线。

Task Haystack受到广泛采用的“大海捞针”（NIAH）评估的启发，但提出了新的独特挑战。它要求模型（1）深入理解地利用上下文，而不是简单地复制粘贴；（2）在不断演变的主题和任务长流中导航，这与长文本LMs实际使用的复杂性非常接近。此外，Task Haystack继承了NIAH的可控性方面，为模型开发人员提供了工具和可视化效果，以有效识别模型的脆弱性。

我们使用Task Haystack对12个长文本LMs进行基准测试。我们发现，诸如GPT-4o等最先进的封闭模型在这种设置中仍然存在困难，平均失败率为15％，而我们评估的所有开放权重模型在很大程度上落后，失败率高达61％。在我们的受控分析中，我们确定了分散注意力和最近偏见等因素是这些失败案例的原因。此外，我们观察到，在测试时任务说明被改写或ICL演示被过度重复时，性能下降，这引发了对当前长文本LMs的鲁棒性、指令理解和真实上下文利用的担忧。

论文链接: https://arxiv.org/abs/2407.16695

使用大语言模型通过修辞手法对语义变化进行表征

原标题: Semantic Change Characterization with LLMs using Rhetorics

作者: Jader Martins Camboim de Sá, Marcos Da Silveira, Cédric Pruski

机构: 卢森堡大学 卢森堡科学技术研究所

摘要: 语言不断因社会事件而演变，导致新术语的产生和含义的转变。这些变化对计算机应用程序具有重要影响，包括自动翻译和聊天机器人，因此准确描述它们至关重要。最近发展起来的大语言模型显著推进了自然语言理解，特别是在感知推理和推理方面。在本文中，我们研究了大语言模型在表征三种语义变化类型（维度、关系和方向）中的潜力。我们通过将大语言模型的“思维链”与修辞手法相结合，并利用新创建的数据集对我们的方法进行实验评估来实现这一点。我们的结果突显了大语言模型在捕捉和分析语义变化方面的有效性，为改进计算语言学应用程序提供了宝贵的见解。

论文链接: https://arxiv.org/abs/2407.16624

共享想象：大语言模型产生类似幻觉

原标题: Shared Imagination: LLMs Hallucinate Alike

作者: Yilun Zhou, Caiming Xiong, Silvio Savarese, Chien-Sheng Wu

机构: Salesforce AI Research

摘要: 尽管大语言模型（LLMs）近年来大量涌现，但它们的训练配方——模型架构、预训练数据和优化算法——往往非常相似。这自然引发了对所得模型相似性的疑问。在本文中，我们提出了一种新颖的设定，即虚构问答（IQA），以更好地理解模型相似性。在虚构问答中，我们要求一个模型生成纯粹虚构的问题（例如，关于物理中完全虚构的概念），并提示另一个模型来回答。令人惊讶的是，尽管这些问题完全是虚构的，所有模型都能以非凡的成功率回答彼此的问题，表明在这种幻觉中这些模型运行的是一个“共享的想象空间”。我们进行了一系列对这一现象的调查，并讨论了对模型同质性、幻觉和计算创造力的影响。

论文链接: https://arxiv.org/abs/2407.16604

Lawma：专业化在法律任务中的力量

原标题: Lawma: The Power of Specialization for Legal Tasks

作者: Ricardo Dominguez-Olmedo, Vedant Nanda, Rediet Abebe, Stefan Bechtold, Christoph Engel, Jens Frankenreiter, Krishna Gummadi, Moritz Hardt, Michael Livermore

机构: 马克思智能系统研究所、图宾根人工智能中心、马克思集体物品研究所、华盛顿大学圣路易斯分校法学院、哈佛大学、苏黎世联邦理工学院、弗吉尼亚大学法学院

摘要: 法律文本的注释和分类是实证法律研究的核心组成部分。传统上，这些任务通常被委托给经过训练的研究助理。受语言建模进展的推动，实证法律学者越来越倾向于使用商业模型进行提示，希望能够减轻人工注释的重大成本。尽管使用越来越广泛，但我们对如何最好地利用大型语言模型进行法律任务的理解仍然有限。我们对260个法律文本分类任务进行了全面研究，几乎所有任务对机器学习社区都是全新的。从GPT-4作为基准开始，我们展示了它具有非平凡但高度变化的零样本准确性，通常表现出的性能可能不足以进行法律工作。然后，我们证明了一个轻微微调的Llama 3模型在几乎所有任务上远远优于GPT-4，通常提高了两位数的百分点。我们发现，较大的模型对微调的响应比较好，比较小的模型。几十到几百个示例就足以实现高分类准确性。值得注意的是，我们可以在所有260个任务上同时对单个模型进行微调，相对于为每个任务单独使用一个模型，准确性略有损失。我们的工作指向了提示商业模型的主导实践的一个可行替代方案。对于一些具有一些可用标记数据的具体法律任务，研究人员最好使用一个经过微调的开源模型。

论文链接: https://arxiv.org/abs/2407.16615

数据混合推断：BPE分词器揭示了它们的训练数据的什么？

原标题: Data Mixture Inference: What do BPE Tokenizers Reveal about their Training Data?

作者: Jonathan Hayase, Alisa Liu, Yejin Choi, Sewoong Oh, Noah A. Smith

机构: 华盛顿大学 Allen人工智能研究所

摘要: 今天最强大的语言模型的预训练数据是不透明的。特别是，关于各个领域或语言在其中所占比例的了解甚少。在这项工作中，我们解决了一项我们称之为数据混合推断的任务，旨在揭示训练数据的分布组成。我们引入了一种基于先前被忽视的信息源 - 字节对编码（BPE）分词器的新攻击方法，这种分词器被现代大多数语言模型使用。我们的关键洞察是，由BPE分词器学习的合并规则的有序列表自然地揭示了有关其训练数据中的标记频率的信息：第一个合并是最常见的字节对，第二个是在合并第一个标记后最常见的对，依此类推。鉴于一个分词器的合并列表以及每个感兴趣类别的数据样本，我们制定了一个线性规划，用于解决分词器训练集中每个类别的比例。重要的是，分词器训练数据代表预训练数据的程度，我们间接地了解了有关预训练数据的信息。在受控实验中，我们展示了我们的攻击可以高精度地恢复在已知混合的自然语言、编程语言和数据源上训练的分词器的混合比例。然后，我们将我们的方法应用于最近发布的现成分词器。我们确认了关于这些模型的许多公开披露的信息，并且还得出了一些新的推断：GPT-4o的分词器比其前身更多语种，训练了39%的非英语数据；Llama3主要用于多语种（48%）的用途扩展了GPT-3.5的分词器；GPT-3.5和Claude的分词器主要训练于代码（约60%）。我们希望我们的工作能够揭示当前预训练数据设计实践的一些情况，并激发对于语言模型数据混合推断的持续研究。

论文链接: https://arxiv.org/abs/2407.16607

在线健康讨论中患者语言跨治疗领域的比较研究，以实现有效的患者语音分类。

原标题: A Comparative Study on Patient Language across Therapeutic Domains for Effective Patient Voice Classification in Online Health Discussions

作者: Giorgos Lysandrou, Roma English Owen, Vanja Popovic, Grant Le Brun, Aryo Pradipta Gema, Beatrice Alex, Elizabeth A. L. Fairley

机构: 谈话医药有限公司

摘要: 医疗专业人士对患者临床经历的感知与现实之间存在着一道看不见的障碍。这种障碍可能是由环境引起的，阻碍了患者与医疗专业人士坦率地分享他们的经历。由于患者被观察到更坦诚地在社交媒体上讨论和交流知识，因此可以从这些平台中获得宝贵的见解。然而，社交媒体上大量非患者帖子的存在需要过滤出这些无关内容，以区分患者真实的声音，这一任务被称为患者声音分类。在这项研究中，我们分析了语言特征在准确分类患者声音中的重要性。我们的研究结果强调了语言和统计文本相似性分析在识别患者群体中共同模式方面的重要作用。这些结果暗示了患者在疾病水平和各种治疗领域表达自己方式的更为明显差异。此外，我们对预训练的语言模型在具有相似语言模式的合并数据集上进行了微调，从而实现了高度准确的自动患者声音分类。作为该主题的开创性研究，我们专注于从社交媒体中提取真实的患者经历，这是推动医疗标准发展和促进以患者为中心的方法的关键一步。

论文链接: https://arxiv.org/abs/2407.16593

TLCR：来自人类反馈的细粒度强化学习的Token级连续奖励

原标题: TLCR: Token-Level Continuous Reward for Fine-grained Reinforcement Learning from Human Feedback

作者: Eunseop Yoon, Hee Suk Yoon, SooHwan Eom, Gunsoo Han, Daniel Wontae Nam, Daejin Jo, Kyoung-Woon On, Mark A. Hasegawa-Johnson, Sungwoong Kim, Chang D. Yoo

机构: 韩国科学技术院（KAIST） 韩国大学 伊利诺伊大学厄巴纳-香槟分校（UIUC） Kakao Brain

摘要: 人类反馈强化学习（RLHF）利用人类偏好数据来训练语言模型，使其更加贴近人类本质。然而，这些人类偏好数据通常是在序列级别上标记的，导致序列级别偏好标签与 token 之间存在不匹配，而 token 是从语言模型中自回归生成的。尽管最近有几种方法尝试为每个单独的 token 提供 token 级别（即密集型）的奖励，但这些方法通常依赖预定义的离散奖励值（例如，积极：+1，消极：-1，中性：0），未能考虑到每个 token 内在的偏好程度不同。为了解决这一限制，我们引入了用于 RLHF 的 TLCR（Token-Level Continuous Reward），它包含一个经过训练的鉴别器，用于区分积极和消极的 token，并利用鉴别器的置信度来分配连续奖励给每个 token，考虑上下文。大量实验证明，我们提出的 TLCR 相对于先前的序列级别或 token 级别离散奖励在开放式生成基准上带来了一致的性能改进。

论文链接: https://arxiv.org/abs/2407.16574

评估德国网络数据主题分类的上下文学习和微调

原标题: Assessing In-context Learning and Fine-tuning for Topic Classification of German Web Data

作者: Julian Schelb, Roberto Ulloa, Andreas Spitz

机构: 康斯坦茨大学 阿尔芬·施皮茨 罗伯托·乌洛亚 朱利安·谢尔布

摘要: 政治和社会科学领域的研究人员经常依赖分类模型来分析信息消费趋势，通过检查数百万个网页的浏览历史来进行。由于手动标记的不切实际，自动可扩展的方法是必要的。在本文中，我们将主题相关内容的检测建模为二元分类任务，并比较经过微调的预训练编码器模型与上下文学习策略的准确性。我们仅使用每个主题几百个带注释的数据点，在一个爬取的网页数据库中检测与三个德国政策相关的内容。我们比较了多语言和单语言模型，以及零样本和少样本方法，并研究了负采样策略和 URL 与基于内容的特征组合的影响。我们的结果表明，少量带注释数据足以训练出一个有效的分类器。对基于编码器的模型进行微调可以获得比上下文学习更好的结果。同时使用 URL 和基于内容的特征的分类器表现最佳，当内容不可用时，仅使用 URL 提供了足够的结果。

论文链接: https://arxiv.org/abs/2407.16516

量化文本可预测性在自动语音识别中的作用

原标题: Quantifying the Role of Textual Predictability in Automatic Speech Recognition

作者: Sean Robertson, Gerald Penn, Ewan Dunbar

机构: 多伦多大学 加拿大

摘要: 自动语音识别研究中一个长期存在的问题是如何将错误归因于模型对声学特征建模的能力，而非其利用高阶上下文（词汇、形态、句法、语义）的能力。我们验证了一种新颖的方法，将错误率建模为相对文本可预测性的函数，并得到一个名为$k$的单一数字，用于衡量文本可预测性对识别器的影响。我们使用这种方法证明，基于Wav2Vec 2.0的模型比混合ASR模型更多地利用文本上下文，尽管没有使用显式语言模型，并且利用它来阐明最近的结果表明标准ASR系统在非裔美国英语上表现不佳。我们证明这些主要代表了声学-语音建模的失败。我们展示了这种方法如何直接用于诊断和改进ASR。

论文链接: https://arxiv.org/abs/2407.16537

检索、生成、评估：利用小语言模型生成医学释义的案例研究

原标题: Retrieve, Generate, Evaluate: A Case Study for Medical Paraphrases Generation with Small Language Models

作者: Ioana Buhnila, Aman Sinha, Mathieu Constant

机构: ATILF Université de Lorraine CNRS Institut de Cancérologie

摘要: 最近大语言模型（LLMs）对普通大众的可及性激增，可能导致这些模型在医学相关建议方面的不可追踪使用。通过LLMs模型进行语言生成存在两个关键问题：首先，它们容易产生幻觉，因此，无论用于何种医学目的，都需要科学和事实依据；其次，由于其巨大的模型规模，LLMs对计算资源构成巨大挑战。在这项工作中，我们介绍了pRAGe，这是一个用于检索增强生成和评估使用小语言模型（SLM）生成医学释义的流程。我们研究了SLMs的有效性以及外部知识库对法语医学释义生成的影响。

论文链接: https://arxiv.org/abs/2407.16565

在智能体中：评估大语言模型在交互式基于文本的社交推理游戏中的表现

原标题: AMONGAGENTS: Evaluating Large Language Models in the Interactive Text-Based Social Deduction Game

作者: Yizhou Chi, Lingjun Mao, Zineng Tang

机构: 加州大学伯克利分校 同济大学

摘要: 战略社交推理游戏是评估语言模型理解和推理能力的宝贵试验平台，为社会科学、人工智能和战略游戏提供了关键见解。本文着重于在模拟环境中创建人类行为的代理，其中使用《Among Us》作为研究模拟人类行为的工具。
该研究引入了一个基于文本的游戏环境，名为AmongAgent，模拟了《Among Us》的动态。玩家扮演太空船上的机组成员，任务是识别破坏飞船并消灭机组成员的冒名顶替者。在这个环境中，分析了模拟语言代理的行为。实验涉及不同配置的机组成员和冒名顶替者人格原型的多样游戏序列。我们的工作表明，最先进的大语言模型（LLMs）能够有效地掌握游戏规则，并根据当前情境做出决策。本研究旨在促进在目标导向游戏中进一步探索LLMs，在这些设置中，信息不完整且行动空间复杂，这些设置为评估语言模型在社会驱动场景中的表现提供了宝贵机会。

论文链接: https://arxiv.org/abs/2407.16521

FairFlow：一种用于基于模型的反事实数据增强的自动化方法，用于自然语言处理。

原标题: FairFlow: An Automated Approach to Model-based Counterfactual Data Augmentation For NLP

作者: Ewoenam Kwaku Tokpo, Toon Calders

机构: 安特卫普大学

摘要: 尽管语言模型的发展，它们继续无意中从训练数据中学到有害的社会偏见和刻板印象。这些固有偏见经常导致各种应用中的不利影响。反事实数据增强（CDA）旨在平衡训练数据中的人口属性，已成为减轻自然语言处理中偏见的广泛采用方法。然而，许多现有的CDA方法依赖于使用手动编制的词对词典的词替换技术。这些技术经常导致上下文不当的替换，从而导致潜在的质量问题。另一方面，基于模型的技术的进展受到了对平行训练数据的需求的挑战。该领域的研究依赖于手动生成的昂贵平行数据，因此在规模上受到限制。本文提出了FairFlow，这是一种自动生成平行数据的方法，用于训练反事实文本生成模型，减少了对人类干预的需求。此外，我们展示了FairFlow明显克服了基于词典的词替换方法的局限，同时保持良好的性能。

论文链接: https://arxiv.org/abs/2407.16431

TookaBERT：波斯语自然语言理解的一大进步

原标题: TookaBERT: A Step Forward for Persian NLU

作者: MohammadAli SadraeiJavaheri, Ali Moghaddaszadeh, Milad Molazadeh, Fariba Naeiji, Farnaz Aghababaloo, Hamideh Rafiee, Zahra Amirmahani, Tohid Abedini, Fatemeh Zahra Sheikhi, Amirmohammad Salehoof

机构: Part Artificial Intelligence Research Center

摘要: 自然语言处理（NLP）领域由于深度学习和基础模型的强大能力而取得了显著进展。语言模型，特别是BERT，在这一进展中发挥了关键作用。在这项研究中，我们使用波斯语数据训练并引入了两个新的BERT模型。我们对模型进行了测试，将它们与14个不同的波斯语自然语言理解（NLU）任务中的七个现有模型进行了比较。结果不言自明：我们的较大模型表现优于竞争对手，平均改进至少+2.8个点。这突显了我们的新BERT模型在波斯语NLU任务中的有效性和潜力。

论文链接: https://arxiv.org/abs/2407.16382

通过结构化增强大语言模型的认知

原标题: Enhancing LLM’s Cognition via Structurization

作者: Kai Liu, Zhihang Fu, Chao Chen, Wei Zhang, Rongxin Jiang, Fan Zhou, Yaowu Chen, Yue Wu, Jieping Ye

机构: 浙江大学 阿里巴巴云

摘要: 在阅读长篇文本时，人类认知是复杂且有结构的。虽然大语言模型（LLMs）通过因果和顺序的视角处理输入内容，但这种方法可能会限制它们有效处理复杂和复杂输入的能力。为了增强LLM的认知能力，本文提出了一种上下文结构化的新概念。具体而言，我们将简单的、无序的上下文句子转换为有序且层次化结构化的元素。通过这样做，LLMs可以通过对组织良好的结构进行精确的关注和信息搜索，更好地把握复杂和广泛的上下文。我们在各种模型架构和大小（包括几个7B到72B大小的自回归LLMs以及类似BERT的掩码模型）上进行了广泛的评估，涵盖了各种NLP任务（例如基于上下文的问答、详尽的幻觉评估和段落级密集检索）。实证结果显示，单轮结构化带来了一致且显著的性能提升。特别是，我们将一个72B参数的开源模型提升到与GPT-3.5-Turbo相当的性能水平作为幻觉评估器。此外，我们展示了将先进LLMs的语言处理能力提炼到一个更小但有效的StruXGPT-7B以执行结构化的可行性，解决了我们方法的实用性问题。代码将很快公开。

论文链接: https://arxiv.org/abs/2407.16434

基于大语言模型的ASR后处理错误校正的进化提示设计

原标题: Evolutionary Prompt Design for LLM-Based Post-ASR Error Correction

作者: Rithik Sachdev, Zhong-Qiu Wang, Chao-Han Huck Yang

机构: 卡内基梅隆大学 南方科技大学 NVIDIA研究

摘要: 借助现代大语言模型（LLMs）的强大优势，生成式错误校正（GEC）已经成为一种有前途的范式，可以提升现代自动语音识别（ASR）系统的性能。一种代表性方法是利用上下文学习来提示LLMs，以便基于精心设计的提示和ASR系统生成的$N$个最佳假设列表，LLMs可以生成更好的假设。然而，目前尚不清楚现有提示是否对于后ASR错误校正任务最为有效。在这种情况下，本文首先探讨替代提示以识别一组初始有效提示，然后提出采用进化提示优化算法来优化初始提示。在SLT $2024$ GenSEC挑战赛任务$1$的CHiME-4子集上的评估结果显示了所提出算法的有效性和潜力。

论文链接: https://arxiv.org/abs/2407.16370

FACTTRACK：故事大纲中的时态感知世界状态跟踪

原标题: FACTTRACK: Time-Aware World State Tracking in Story Outlines

作者: Zhiheng Lyu, Kevin Yang, Lingpeng Kong, Daniel Klein

机构: 香港大学 UC Berkeley

摘要: 随着语言模型能力的提升，准确检测和纠正语言模型输出中的事实矛盾变得越来越重要，但这样做非常具有挑战性。我们提出了一种新颖的方法，FACTTRACK，用于跟踪原子事实并解决事实矛盾。关键是，FACTTRACK 还为每个事实维护了具有时间感知的有效间隔，允许随时间变化。在高层次上，FACTTRACK 包括一个四步流程，用于为每个新事件更新世界状态数据结构：(1) 将事件分解为方向性原子事实；(2) 使用世界状态确定每个原子事实的有效间隔；(3) 检测与世界状态中现有事实的矛盾；最后 (4) 添加新事实到世界状态并更新现有原子事实。当我们将 FACTTRACK 应用于结构化故事大纲上的矛盾检测时，我们发现使用 LLaMA2-7B-Chat 的 FACTTRACK 明显优于使用 LLaMA2-7B-Chat 的公平基准，并且达到了与 GPT4 基准相当的性能。此外，当使用 GPT4 时，FACTTRACK 明显优于 GPT4 基准。

论文链接: https://arxiv.org/abs/2407.16347

超越二元性别：评估具有模糊态度词的性别包容机器翻译

原标题: Beyond Binary Gender: Evaluating Gender-Inclusive Machine Translation with Ambiguous Attitude Words

作者: Yijie Chen, Yijin Liu, Fandong Meng, Jinan Xu, Yufeng Chen, Jie Zhou

机构: 清华大学 南京大学

摘要: 性别偏见一直是研究机器翻译和语言模型中偏见的焦点。现有的机器翻译性别偏见评估主要集中在男性和女性性别上，限制了评估的范围。为了准确评估性别偏见，这些研究通常依赖于计算性别代词的准确性或通过职业或情感词触发的男性和女性属性的语法性别，这些属性通过职业或情感词触发的刻板印象（即明确的积极或消极态度），这不能延伸到非二元群体。本研究提出了一个基准 AmbGIMT（具有模糊态度词的性别包容机器翻译），该基准评估了超越二元性别的性别偏见。同时，我们提出了一种基于情感态度分数（EAS）评估性别偏见的新颖过程，该过程用于量化模糊态度词。在评估三种最近有效的开源大语言模型和一种强大的多语言翻译特定模型时，我们的主要观察结果是：（1）在非二元性别背景下的翻译性能在翻译质量方面明显较差，并表现出比二元性别背景更消极的态度。 （2）分析实验表明，将约束上下文纳入性别身份术语的提示中可以显著减少翻译偏见，尽管存在约束，但偏见仍然明显。 代码公开可在 \url{this https URL} 获取。

论文链接: https://arxiv.org/abs/2407.16266

Github: https://github.com/pppa2019/ambGIMT

LawLuo：由大语言模型智能体共同经营的中国律所

原标题: LawLuo: A Chinese Law Firm Co-run by LLM Agents

作者: Jingyun Sun, Chengxiao Dai, Zhongze Luo, Yangbo Chang, Yang Li

机构: 东北林业大学 让勒律师事务所 Universiti Tunku Abdul Rahman 石家庄铁道大学

摘要: 大语言模型（LLMs）展示了在向没有法律背景的用户提供法律咨询服务方面的巨大潜力，这归功于它们优越的文本理解和生成能力。然而，现有的中文法律LLMs将互动限制在单一模型-用户对话中，不像律师事务所典型的协作咨询，那里多名员工共同为单个咨询做出贡献。这种限制阻碍了真实的咨询体验。此外，现有的中文法律LLMs存在关键限制：（1）对指导微调数据质量的控制不足；（2）由于用户模糊查询而导致模型幻觉增加；以及（3）模型在多轮对话中遵循指令能力下降。针对这些挑战，我们提出了一个利用多个LLM智能体协作能力的新型法律对话框架，称为LawLuo。该框架包括四个智能体：接待员、律师、秘书和老板，每个负责不同的功能，共同为用户提供全面的法律咨询。此外，我们构建了两个高质量的法律对话数据集，KINLED和MURLED，并使用这些数据集微调了ChatGLM-3-6b。我们提出了一种名为ToLC的法律查询澄清算法。实验结果表明，LawLuo在律师风格语言、法律建议的实用性和法律知识准确性三个维度上优于基准LLMs，包括GPT-4。我们的代码和数据集可在此https网址获得。

论文链接: https://arxiv.org/abs/2407.16252

Github: https://github.com/NEFUJing/LawLuo

探究中间任务迁移学习中任务选择的有效性和一致性

原标题: Exploring the Effectiveness and Consistency of Task Selection in Intermediate-Task Transfer Learning

作者: Pin-Jie Lin, Miaoran Zhang, Marius Mosbach, Dietrich Klakow

机构: 弗吉尼亚理工大学 萨尔兰大学 萨尔兰信息学院 米拉魁北克人工智能研究所 麦吉尔大学

摘要: 确定有益的任务以进行转移是成功中间任务迁移学习的关键步骤。在这项工作中，我们尝试了130种源-目标任务组合，并展示了在不同源任务和训练种子之间转移性能存在严重变化，突显了中间任务选择在更广泛背景下的关键作用。我们在统一设置中比较了四种代表性任务选择方法，重点关注它们的有效性和一致性。与无嵌入方法和文本嵌入相比，从微调权重构建的任务嵌入可以更好地估计任务的可转移性，将任务预测得分从2.59%提高到3.96%。尽管它们表现出色，我们观察到任务嵌入并不总是表现出对需要推理能力的任务的优越性。此外，我们引入了一种使用最大内积搜索测量成对标记相似性的新方法，导致任务预测中表现最佳。我们的研究结果表明，基于标记的相似性比加权平均更好地预测了可转移性。

论文链接: https://arxiv.org/abs/2407.16245

PreAlign：通过早期建立多语言对齐来增强跨语言转移

原标题: PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment

作者: Jiahuan Li, Shujian Huang, Xinyu Dai, Jiajun Chen

机构: 南京大学

摘要: 大语言模型展示了合理的多语言能力，尽管主要是以英语为中心进行预训练。然而，这些模型中的自发多语言对齐被证明是薄弱的，导致跨语言转移和知识共享不尽如人意。先前的研究尝试通过在预训练期间或之后明确注入多语言对齐信息来解决这个问题。因此，在预训练的早期阶段，对齐对于跨语言共享信息或知识是薄弱的。在本文中，我们提出了PreAlign，这是一个在语言模型预训练之前建立多语言对齐的框架。PreAlign通过初始化模型以生成对齐单词的相似表示来注入多语言对齐，并在预训练期间使用代码切换策略保持这种对齐。在一个合成的英语到英语-克隆设置中进行的大量实验表明，PreAlign在语言建模、零样本跨语言转移和跨语言知识应用方面明显优于标准的多语言联合训练。在真实场景中的进一步实验进一步验证了PreAlign在各种模型规模上的有效性。

论文链接: https://arxiv.org/abs/2407.16222

LLM对齐技术的综合调查：RLHF、RLAIF、PPO、DPO等

原标题: A Comprehensive Survey of LLM Alignment Techniques: RLHF, RLAIF, PPO, DPO and More

作者: Zhichao Wang, Bin Bi, Shiva Kumar Pentyala, Kiran Ramnath, Sougata Chaudhuri, Shubham Mehrotra, Zixu (James)Zhu, Xiang-Bo Mao, Sitaram Asur, Na (Claire)Cheng

机构: Salesforce

摘要: 随着自监督学习的进步，预训练语料库中可用的 token 数量达到了数万亿，指导微调的实现，以及拥有数十亿参数的大型 Transformer 的发展，大语言模型（LLMs）现在能够生成符合事实且连贯的响应以回应人类查询。然而，训练数据的质量参差不齐可能导致生成不受欢迎的响应，构成重大挑战。在过去的两年里，从不同角度提出了各种方法来增强大语言模型，特别是在使其与人类期望保持一致方面。尽管有这些努力，但尚未有一篇全面的调查论文对这些方法进行分类和详细说明。在这项工作中，我们旨在通过将这些论文分类为不同主题，并详细解释每种对齐方法，从而帮助读者深入了解该领域的当前状况。

论文链接: https://arxiv.org/abs/2407.16216

使用大语言模型检测低资源语言和高资源语言的机器翻译幻觉

原标题: Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models

作者: Kenza Benkirane (1), Laura Gongas (1), Shahar Pelles (1), Naomi Fuchs (1), Joshua Darmon (1), Pontus Stenetorp (1), David Ifeoluwa Adelani (1), Eduardo Sanchez (1 and 2) ((1) University College London, (2) Meta)

摘要: 最近，大规模多语言机器翻译系统的进展显著提高了翻译准确性；然而，即使是表现最佳的系统仍会产生幻觉，严重影响用户信任。检测机器翻译（MT）中的幻觉仍然是一个关键挑战，特别是因为现有方法在高资源语言（HRLs）上表现出色，但在低资源语言（LRLs）上应用时存在重大局限性。本文评估了使用大语言模型（LLMs）和在大规模多语言嵌入中的语义相似性来检测幻觉的方法。我们的研究涵盖了16种语言方向，涵盖了具有不同书写系统的HRLs和LRLs。我们发现模型的选择对性能至关重要。平均而言，对于HRLs，Llama3-70B的表现优于先前的最新技术，最高可达0.16的MCC（马修斯相关系数）。然而，对于LRLs，我们观察到Claude Sonnet的表现平均比其他LLMs高出0.03的MCC。我们研究的关键收获是，LLMs可以实现与先前提出的模型相当甚至更好的性能，尽管它们并没有明确针对任何机器翻译任务进行训练。然而，它们在LRLs中的优势不那么显著。

论文链接: https://arxiv.org/abs/2407.16470

图结构推理解码

原标题: Graph-Structured Speculative Decoding

作者: Zhuocheng Gong, Jiahao Liu, Ziyue Wang, Pengfei Wu, Jingang Wang, Xunliang Cai, Dongyan Zhao, Rui Yan

机构: 北京大学王选计算机技术研究所 美团 天津大学 国家通用人工智能重点实验室 中国人民大学高灵学院

摘要: 推测解码已经成为一种有前途的技术，可以通过利用一个小语言模型起草假设序列来加速大语言模型（LLMs）的推理过程，然后由LLM对其进行验证。这种方法的有效性在很大程度上取决于起草模型的性能和效率之间的平衡。在我们的研究中，我们专注于通过生成多个假设而不仅仅是一个来增强被接受为最终输出的起草标记的比例。这使得LLM有更多选择，并选择符合其标准的最长序列。我们的分析表明，起草模型生成的假设共享许多常见的标记序列，表明有优化计算的潜力。利用这一观察结果，我们引入了一种创新方法，利用有向无环图（DAG）来管理起草的假设。这种结构使我们能够有效地预测和合并重复的标记序列，大大减少了起草模型的计算需求。我们将这种方法称为图结构化推测解码（GSD）。我们在一系列LLMs上应用GSD，包括一个拥有700亿参数的LLaMA-2模型，观察到1.73倍到1.96倍的显着加速，明显超过标准的推测解码。

论文链接: https://arxiv.org/abs/2407.16207

大语言模型是否知道何时不回答？调查大语言模型的弃权能力

原标题: Do LLMs Know When to NOT Answer? Investigating Abstention Abilities of Large Language Models

作者: Nishanth Madhusudhan, Sathwik Tejaswi Madhusudhan, Vikas Yadav, Masoud Hashemi

机构: ServiceNow

摘要: 随着大语言模型（LLMs）在各种自然语言处理任务中取得显著表现，它们的可靠性对于广泛采用变得至关重要。本文关注放弃能力（AA），这是可靠性的一个关键但鲜为人知的方面 - 即LLMs在不确定或无法给出明确答案时，保持问答（QA）任务表现的能力，即不回答问题的能力。虽然先前的研究集中在理解LLMs的回忆能力或它们识别难以回答的问题的能力上，但我们认为有必要提出一种有效的AA评估方法。因此，我们提出了一种黑盒评估方法，以检查和了解LLMs在各种多项选择QA任务中的AA。我们通过奖励模型放弃回答预测错误的问题或本质上无法回答的问题来衡量AA。我们研究了三种策略，严格提示、语言置信阈值和思维链（CoT），以了解它们对不同LLMs的放弃行为的影响。我们的研究结果显示，即使像GPT-4这样的最先进的LLMs在放弃方面也存在困难，而像CoT这样的战略提示可以显著增强这种能力。此外，我们证明改善AA也会导致更好的整体QA任务表现，突显了在LLMs中评估AA的重要性。

论文链接: https://arxiv.org/abs/2407.16221

逐步冻结模态以实现多模态实体对齐

原标题: Progressively Modality Freezing for Multi-Modal Entity Alignment

作者: Yani Huang, Xuefeng Zhang, Richong Zhang, Junfan Chen, Jaein Kim

机构: 北航大学 软件学院 中关村实验室

摘要: 多模态实体对齐旨在发现异构知识图中的相同实体。尽管最近的研究已经深入探讨了融合范式以全面表示实体，但忽视了消除与对齐无关的特征和模态不一致性，这些不一致性是由多模态特征的固有差异造成的。为了解决这些挑战，我们提出了一种新颖的渐进式模态冻结策略，称为 PMF，专注于与对齐相关的特征，并增强多模态特征融合。值得注意的是，我们的方法引入了一种开创性的跨模态关联损失，以促进模态一致性。对九个数据集的实证评估证实了 PMF 的优越性，展示了最先进的性能和冻结模态的合理性。我们的代码可在此网址找到。

论文链接: https://arxiv.org/abs/2407.16168

Github: https://github.com/ninibymilk/PMF-MMEA

在无监督神经语法归纳中的结构优化歧义和简单偏见

原标题: Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction

作者: Jinwook Park, Kangil Kim

机构: 光州科学技术学院 AI 研究生院

摘要: 神经参数化显著推进了无监督语法归纳。然而，使用传统的可能性损失来训练这些模型会加剧两个问题：1）$\text{结构优化歧义}$，即在特定偏好金标解析的情况下，任意选择结构上存在歧义的最佳语法之一；2）$\text{结构简单性偏差}$，导致模型未充分利用规则来构成句法树。这些挑战使得无监督神经语法归纳（UNGI）不可避免地面临预测错误、高方差以及需要广泛语法来实现准确预测的问题。本文解决了这些问题，并全面分析了它们的根源。作为解决方案，我们引入了$\text{句子级解析聚焦}$，以减少每个句子的解析池，用于损失评估，利用了在相同数据集上预训练解析器的结构偏差。在无监督解析基准测试中，我们的方法显著提高了性能，同时有效减少了方差，并减少了对过度简化解析的偏见。我们的研究促进了学习更紧凑、准确和一致的显式语法，有助于更好地解释性。

论文链接: https://arxiv.org/abs/2407.16181

DDK：为高效大语言模型提炼领域知识

原标题: DDK: Distilling Domain Knowledge for Efficient Large Language Models

作者: Jiaheng Liu, Chenchen Zhang, Jinyang Guo, Yuanxing Zhang, Haoran Que, Ken Deng, Zhiqi Bai, Jie Liu, Ge Zhang, Jiakai Wang, Yanan Wu, Congnan Liu, Wenbo Su, Jiamang Wang, Lin Qu, Bo Zheng

机构: 阿里巴巴集团 悉尼大学 香港中文大学 滑铁卢大学

摘要: 尽管大语言模型（LLMs）在各种应用中具有先进的智能能力，但它们仍然面临着巨大的计算和存储需求。知识蒸馏（KD）已经成为一种有效的策略，通过从性能高的大语言模型（即教师模型）转移知识来提高较小LLM（即学生模型）的性能。目前LLM蒸馏中的主流技术通常使用黑盒模型API生成高质量的预训练和对齐数据集，或者利用白盒蒸馏通过改变损失函数来更好地从教师LLM转移知识。然而，这些方法忽略了学生和教师LLMs之间跨领域知识差异，导致过度关注性能差距较小的领域，而对性能差距较大的领域关注不足，降低了整体性能。在本文中，我们介绍了一种名为DDK的新LLM蒸馏框架，根据教师和学生模型之间的领域性能差异平滑地动态调整蒸馏数据集的组成，使蒸馏过程更加稳定和有效。广泛的评估表明，DDK显著提高了学生模型的性能，远远超过了持续预训练基线和现有知识蒸馏方法。

论文链接: https://arxiv.org/abs/2407.16154

通过对风险的关键评估，在大语言模型中实现强大的隐私保护与创新

原标题: Robust Privacy Amidst Innovation with Large Language Models Through a Critical Assessment of the Risks

作者: Yao-Shun Chuang, Atiquer Rahman Sarkar, Noman Mohammed, Xiaoqian Jiang

机构: 麻省大学生物医学信息学学校、得克萨斯大学医学中心休斯敦分校、曼尼托巴大学

摘要: 这项研究探讨了将电子健康记录（EHRs）和自然语言处理（NLP）与大语言模型（LLMs）相结合，以改善医疗数据管理和患者护理。研究重点是利用先进模型创建安全、符合HIPAA标准的合成患者笔记，用于生物医学研究。该研究使用去标识化和重新标识化的MIMIC III数据集，结合GPT-3.5、GPT-4和Mistral 7B生成合成笔记。文本生成采用模板和关键词提取以生成具有上下文相关性的笔记，其中包括一次性生成用于比较。隐私评估检查PHI出现情况，文本效用通过ICD-9编码任务进行测试。文本质量通过ROUGE和余弦相似度指标进行评估，以衡量与源笔记的语义相似性。通过ICD-9编码任务对PHI出现和文本效用的分析显示，基于关键词的方法风险低且性能良好。一次性生成显示出最高的PHI暴露和PHI共现，特别是在地理位置和日期类别中。标准化一次性方法实现了最高的分类准确性。隐私分析揭示了数据效用和隐私保护之间的关键平衡，影响未来数据使用和共享。重新标识化数据始终优于去标识化数据。这项研究展示了基于关键词的方法在生成保护隐私的合成临床笔记方面的有效性，保留数据可用性，潜在地改变临床数据共享实践。重新标识化数据的卓越表现表明，通过使用虚拟PHI来使隐私攻击困惑，有望向增强效用和隐私的方法转变。

论文链接: https://arxiv.org/abs/2407.16166

使用歧视指令对大型生成式语言模型进行微调，用于知识图谱补全

原标题: Finetuning Generative Large Language Models with Discrimination Instructions for Knowledge Graph Completion

作者: Yang Liu, Xiaobin Tian, Zequn Sun, Wei Hu

机构: 南京大学 中国 国家卫生数据科学研究所

摘要: 传统的知识图谱（KG）补全模型学习嵌入以预测缺失的事实。最近的研究尝试以大语言模型（LLMs）以文本生成的方式完成知识图谱。然而，它们需要将LLMs的输出与KG实体联系起来，这不可避免地会带来错误。在本文中，我们提出了一个微调框架DIFT，旨在释放LLMs的KG补全能力并避免接地错误。给定一个不完整的事实，DIFT使用一个轻量级模型获取候选实体，并使用区分指令微调LLM以从给定的候选中选择正确的实体。为了提高性能同时减少指令数据，DIFT使用截断抽样方法选择用于微调的有用事实，并将KG嵌入注入LLM中。对基准数据集进行的大量实验证明了我们提出的框架的有效性。

论文链接: https://arxiv.org/abs/2407.16127

CHIME：大语言模型辅助科学研究的分层组织，支持文献综述。

原标题: CHIME: LLM-Assisted Hierarchical Organization of Scientific Studies for Literature Review Support

作者: Chao-Chun Hsu, Erin Bransom, Jenna Sparks, Bailey Kuehl, Chenhao Tan, David Wadden, Lucy Lu Wang, Aakanksha Naik

机构: 芝加哥大学 Allen人工智能研究所 华盛顿大学

摘要: 文献综述要求研究人员综合大量信息，随着科学文献的不断扩展，这一挑战日益严峻。在这项工作中，我们研究了大语言模型（LLMs）在生成科学研究的分层组织方面的潜力，以帮助研究人员进行文献综述。我们将分层组织定义为树状结构，其中节点表示主题类别，每个节点与分配给该类别的研究相关联。我们基于天真的基于LLM的管道从一组研究中生成层次结构，产生了令人鼓舞但不完美的层次结构，这促使我们收集了CHIME，一个专家策划的针对生物医学的数据集。考虑到从头开始构建层次结构的挑战性和耗时性，我们采用了人在循环过程，专家在LLM生成的层次结构中纠正错误（类别之间的链接和研究分配）。CHIME包含2,174个LLM生成的层次结构，涵盖472个主题，并包含100个主题的专家校正层次结构。专家的更正帮助我们量化LLM的性能，我们发现，虽然它们在生成和组织类别方面表现相当不错，但是它们对研究分配给类别的方式有待改进。我们尝试通过人类反馈训练一个校正模型，通过提高12.6个F1分数来改进研究分配。我们发布我们的数据集和模型，以鼓励研究开发更好的文献综述辅助工具。

论文链接: https://arxiv.org/abs/2407.16148

使用语义单元分析多义性演变。

原标题: Analyzing the Polysemy Evolution using Semantic Cells

作者: Yukio Ohsawa, Dingming Xue, Kaira Sekiguchi

机构: 东京大学

摘要: 单词的意义会演变。同一个词的意义可能从今天到明天会发生变化，同一个词的多个意义可能是彼此演变的结果，也就是说，它们可能是父子关系。如果我们将 Juba 视为一个不断演变的生态系统，那么学习正确答案的范式，它不随着单词的意义变化而改变，就不再有效。本文是一个案例研究，展示了词义多义性是语义单元修改的演化结果，作者已经通过在初始状态引入少量多样性来分析当前一组短句的例子。具体来说，通过使用 Chat GPT 收集的针对单词“Spring”的四个意义的一系列1000个句子的分析显示，当这些意义按照它们演变的顺序排列时，单词在分析中单调地获得最多的多义性。换句话说，我们提出了一种分析单词获取多义性动态的方法，同时也提出了一种从演化框架而不是基于学习的方法来看待多义性的方法论。

论文链接: https://arxiv.org/abs/2407.16110

不完美视觉编码器：视觉-语言模型的高效稳健调优

原标题: Imperfect Vision Encoders: Efficient and Robust Tuning for Vision-Language Models

作者: Aristeidis Panos, Rahaf Aljundi, Daniel Olmeda Reino, Richard E Turner

机构: 剑桥大学 丰田汽车欧洲分公司

摘要: 视觉语言模型（VLMs）在视觉问题回答和图像字幕生成方面展示出令人印象深刻的能力，充当着视觉和语言模型之间的关键联系。然而，现有的开源VLMs在很大程度上依赖于预训练和冻结的视觉编码器（如CLIP）。尽管CLIP在不同领域表现出强大的鲁棒性，但仍然存在着不可忽视的图像理解错误。这些错误会传播到VLM的响应中，导致性能不佳。在我们的工作中，我们提出了一种有效和稳健的方法来更新VLM中的视觉编码器。我们的方法有选择性地和局部地更新编码器，在先前出现错误的数据上实现了显著的性能改进，同时保持整体的鲁棒性。此外，我们展示了我们的方法在持续的少样本更新过程中的有效性。我们的方法具有理论基础、普适性和计算效率。

论文链接: https://arxiv.org/abs/2407.16526

心理学 – 一个理解人工智能的多学科框架

原标题: Psychomatics – A Multidisciplinary Framework for Understanding Artificial Minds

作者: Giuseppe Riva, Fabrizia Mantovani, Brenda K. Wiederhold, Antonella Marchetti, Andrea Gaggioli

机构: 圣心天主教大学、米兰人文技术实验室、米兰应用神经心理学实验室、米兰传播科学研究中心、米兰心理学系、圣心天主教大学心理学系、心灵理论研究单位、沟通心理学研究中心、虚拟现实医疗中心、交互媒体研究所、加州拉霍亚虚拟现实医疗中心、加州圣地亚哥交互媒体研究所

摘要: 尽管大语言模型（LLMs）和其他人工智能系统展示出类似于人类的认知技能，如概念学习和语言习得，但它们处理信息的方式从根本上与生物认知不同。为了更好地理解这些差异，本文介绍了一种名为“心理语言学”（Psychomatics）的跨学科框架，将认知科学、语言学和计算机科学联系起来。它旨在更好地理解大语言模型的高层功能，特别关注大语言模型如何获取、学习、记忆和利用信息以产生它们的输出。为实现这一目标，心理语言学将依赖于一种比较方法论，从一个理论驱动的研究问题出发 - 人类和大语言模型在语言发展和使用过程中的差异是否存在？ - 并在大语言模型和生物系统之间绘制相似之处。我们的分析显示，大语言模型能够在其训练数据中映射和操作复杂的语言模式。此外，大语言模型可以遵循Grice的合作原则，提供相关和信息丰富的回应。然而，人类认知源于多个意义来源，包括经验性、情感性和想象性方面，这些超越了简单的语言处理，并根植于我们的社会和发展轨迹中。此外，当前的大语言模型缺乏物理实体，降低了它们理解人类理解和表达所塑造的知觉、行动和认知之间错综复杂相互作用的能力。最终，心理语言学有潜力为语言、认知和智能的本质提供变革性见解，无论是人工的还是生物的。此外，通过在大语言模型和人类认知过程之间绘制相似之处，心理语言学可以为开发更强大和更类似于人类的人工智能系统提供信息。

论文链接: https://arxiv.org/abs/2407.16444

PrimeGuard：通过无需调整的路由实现安全和有用的大语言模型

原标题: PrimeGuard: Safe and Helpful LLMs through Tuning-Free Routing

作者: Blazej Manczak, Eliott Zemour, Eric Lin, Vaikkunth Mugunthan

摘要: 部署语言模型（LMs）需要输出既具有高质量，又符合安全指南。尽管推理时间防护（ITG）提供了将模型输出分布转向合规性的解决方案，但我们发现当前的方法在平衡安全性和实用性方面存在困难。安全地处理不合规查询的ITG方法表现出较低的实用性，而那些优先考虑实用性的方法则会牺牲安全性。我们将这种权衡称为防护栏税，类似于对齐税。为了解决这个问题，我们提出了PrimeGuard，这是一种利用结构化控制流的新型ITG方法。
PrimeGuard将请求路由到具有不同指令的LM的不同自我实例化，利用其固有的遵循指令能力和上下文学习。我们的无调整方法动态编译每个查询的系统设计指南。我们构建并发布了safe-eval，一个多样化的红队安全基准。广泛的评估表明，PrimeGuard在无需微调的情况下通过（1）显著提高对迭代越狱攻击的抵抗力，（2）在安全防护方面取得了最先进的结果，同时（3）与对齐调整模型的实用性得分相匹配，从而克服了防护栏税。广泛的评估表明，PrimeGuard在无需微调的情况下优于所有竞争基准，并通过将安全响应的比例从61%提高到97%，将最大模型的平均实用性得分从4.17提高到4.29，同时将攻击成功率从100%降低到8%。
PrimeGuard的实施可在此https URL找到，safe-eval数据集可在此https URL找到。

论文链接: https://arxiv.org/abs/2407.16318

Github: https://github.com/dynamofl/PrimeGuard

如何利用个人文本知识进行个性化对话式信息检索

原标题: How to Leverage Personal Textual Knowledge for Personalized Conversational Information Retrieval

作者: Fengran Mo, Longxiang Zhao, Kaiyu Huang, Yue Dong, Degen Huang, Jian-Yun Nie

机构: 蒙特利尔大学 达里安理工大学 北京交通大学 加州大学河滨分校

摘要: 个性化对话式信息检索（CIR）结合了对话和可个性化元素，通过基于用户背景的多轮交互来满足各种用户复杂的信息需求。关键承诺在于个人文本知识库（PTKB）可以提高CIR的效果，因为检索结果可以更相关于用户的背景。然而，PTKB存在噪音：并非每个知识片段都与特定查询相关。本文探讨并测试了几种从PTKB中选择知识并利用大语言模型（LLM）进行查询重构的方法。实验结果显示，当单独使用PTKB时，可能并不总是能提高搜索结果，但在提供高质量指导时，LLM可以帮助生成更合适的个性化查询。

论文链接: https://arxiv.org/abs/2407.16192

弄清楚：对大语言模型进行基于分析的越狱攻击

原标题: Figure it Out: Analyzing-based Jailbreak Attack on Large Language Models

作者: Shi Lin, Rongchang Li, Xun Wang, Changting Lin, Wenpeng Xing, Meng Han

机构: 浙江工商大学 浙江大学滨江研究院 Gentel lnc.

摘要: 大语言模型（LLMs）的快速发展为各种任务带来了显著的生成能力。然而，尽管取得了令人瞩目的成就，这些模型在面对越狱攻击时仍然存在许多安全漏洞。因此，通过调查越狱攻击，我们可以揭示大语言模型中隐藏的弱点，并指导我们开发更强大的防御机制来加固它们的安全性。在本文中，我们进一步探讨了针对大语言模型的越狱攻击的边界，并提出了基于分析的越狱（ABJ）。这种有效的越狱攻击方法利用了大语言模型不断增强的分析和推理能力，并揭示了它们在面对基于分析的任务时的潜在漏洞。我们对各种开源和闭源大语言模型进行了ABJ的详细评估，在GPT-4-turbo-0409上实现了94.8%的攻击成功率（ASR）和1.06的攻击效率（AE），展示了最先进的攻击效果和效率。我们的研究强调了优先考虑和增强大语言模型的安全性以减少滥用风险的重要性。

论文链接: https://arxiv.org/abs/2407.16205

一个用于年龄估计的多视图掩模对比学习图卷积神经网络

原标题: A Multi-view Mask Contrastive Learning Graph Convolutional Neural Network for Age Estimation

作者: Yiping Zhang, Yuntao Shou, Tao Meng, Wei Ai, Keqin Li

机构: 中南林业科技大学 计算机与信息工程学院 长沙 湖南 中国 纽约州立大学新帕尔茨分校 计算机科学系 纽约 纽约州 美国

摘要: 年龄估计任务旨在利用面部特征预测人的年龄，广泛应用于公共安全、营销、识别等领域。然而，这些特征主要集中在面部关键点上，现有的基于CNN和Transformer的方法对于建模复杂的不规则结构具有不灵活和冗余的问题。因此，本文提出了一种用于年龄估计的多视图掩模对比学习图卷积神经网络（MMCL-GCN）。具体而言，MMCL-GCN网络的整体结构包括特征提取阶段和年龄估计阶段。在特征提取阶段，我们引入图结构来构建面部图像作为输入，然后设计了一个多视图掩模对比学习（MMCL）机制来学习关于面部图像的复杂结构和语义信息。学习机制采用了一个不对称的孪生网络架构，利用在线编码器-解码器结构来重建原始图中的缺失信息，并利用目标编码器来学习对比学习的潜在表示。此外，为了促进这两种学习机制更好地兼容和互补，我们采用了两种增强策略并优化了联合损失。在年龄估计阶段，我们设计了一个带有恒等映射的多层极限学习机（ML-IELM），充分利用在线编码器提取的特征。然后，基于ML-IELM构建了一个分类器和一个回归器，用于识别年龄分组间隔并准确估计最终年龄。大量实验证明，MMCL-GCN能够有效减少Adience、MORPH-II和LAP-2016等基准数据集上的年龄估计误差。

论文链接: https://arxiv.org/abs/2407.16234

人工智能代理和大语言模型

原标题: Artificial Agency and Large Language Models

作者: Maud Van Lier, Gorka Muñoz-Gil

机构: 康斯坦茨大学 因斯布鲁克大学

摘要: 大语言模型（LLMs）的出现引发了关于以人工方式实现代理性的哲学辩论。在这项工作中，我们通过提出一个理论模型，为人工智能代理的阈值概念做出了贡献。该模型将代理定义为其行动和目标始终受动态因素框架的影响，该框架由代理的可访问历史、自适应能力和外部环境组成。反过来，这个框架又受到代理所采取的行动和形成的目标的影响。我们利用这个模型展示，目前最先进的大语言模型还不是代理，但它们具有一些元素表明了前进的方向。本文认为，Park等人（2023年）提出的代理架构与Boiko等人（2023年）提出的Coscientist等模块的结合可能是以人工方式实现代理性的途径。我们在文章结尾反思了构建这样一个人工智能代理可能面临的障碍，并提出了未来研究的可能方向。

论文链接: https://arxiv.org/abs/2407.16190

RedAgent: 使用具有上下文感知的自主语言智能体对抗大语言模型

原标题: RedAgent: Red Teaming Large Language Models with Context-aware Autonomous Language Agent

作者: Huiyu Xu, Wenhui Zhang, Zhibo Wang, Feng Xiao, Rui Zheng, Yunhe Feng, Zhongjie Ba, Kui Ren

机构: 浙江大学 北京大学 美国北德克萨斯大学

摘要: 最近，诸如GPT-4之类的先进大语言模型（LLMs）已经被整合到许多实际应用中，如Code Copilot。这些应用显著扩展了LLMs的攻击面，使它们面临各种威胁。其中，通过越狱提示诱发有毒响应的越狱攻击引发了重大的安全关注。为了识别这些威胁，越来越多的红队方法模拟潜在的对抗场景，通过制作越狱提示来测试目标LLM。然而，现有的红队方法并未考虑LLM在不同场景中的独特漏洞，这使得难以调整越狱提示以找到特定上下文的漏洞。同时，这些方法仅限于使用少量变异操作来完善越狱模板，缺乏自动化和可扩展性以适应不同的场景。为了实现上下文感知和高效的红队行动，我们将现有攻击抽象和建模为一个连贯的概念，称为“越狱策略”，并提出了一个名为RedAgent的多智能体LLM系统，利用这些策略生成上下文感知的越狱提示。通过在额外的内存缓冲区中自我反思上下文反馈，RedAgent不断学习如何利用这些策略在特定上下文中实现有效的越狱。大量实验证明，我们的系统可以在仅五次查询中越狱大多数黑盒LLMs，将现有红队方法的效率提高了两倍。此外，RedAgent可以更高效地越狱定制的LLM应用程序。通过针对GPT应用程序生成上下文感知的越狱提示，我们仅用每个漏洞两次查询就发现了这些实际应用程序的60个严重漏洞。我们已报告所有发现的问题，并与OpenAI和Meta进行了沟通以修复漏洞。

论文链接: https://arxiv.org/abs/2407.16667

UniMEL：一个与大语言模型一起进行多模态实体链接的统一框架

原标题: UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models

作者: Liu Qi, He Yongyi, Lian Defu, Zheng Zhi, Xu Tong, Liu Che, Chen Enhong

机构: 中国科学技术大学 智能认知国家重点实验室

摘要: 多模态实体链接（MEL）是一个关键任务，旨在将多模态上下文中的模糊提及与多模态知识库（如维基百科）中的指代实体进行链接。现有方法主要集中在使用复杂机制和广泛的模型调优方法来对特定数据集上的多模态交互进行建模。然而，这些方法过分复杂化了MEL任务，忽视了视觉语义信息，使它们昂贵且难以扩展。此外，这些方法无法解决文本歧义、冗余和噪音图像等问题，严重降低了它们的性能。幸运的是，具有文本理解和推理能力的大语言模型（LLMs）的出现，特别是能够处理多模态输入的多模态大语言模型（MLLMs），为解决这一挑战提供了新的见解。然而，如何设计一个通用的基于LLMs的MEL方法仍然是一个紧迫的挑战。为此，我们提出了UniMEL，这是一个统一的框架，通过使用LLMs处理多模态实体链接任务，建立了一种新的范式。在这个框架中，我们利用LLMs通过整合文本和视觉信息以及优化文本信息来增强提及和实体的表示。随后，我们采用基于嵌入的方法来检索和重新排列候选实体。然后，仅调整了模型参数的约0.26％，LLMs就可以从候选实体中做出最终选择。对三个公共基准数据集的大量实验表明，我们的解决方案实现了最先进的性能，消融研究验证了所有模块的有效性。我们的代码可在https://anonymous.4open.science/r/UniMEL/ 上找到。

论文链接: https://arxiv.org/abs/2407.16160