防止LLM模型盗窃与误用：Chain Hash技术应用

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。

本周精选了5篇LLM领域的优秀论文，为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain?f=cs

1.Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation

本文介绍了一种名为FLAMe的大型自动评分模型家族，该家族旨在更好地驯服大型语言模型（LLM），以可靠地评估其输出。为了实现这一目标，研究者们开发了FLAMe，这是一个基于大量多样化的质量评估任务（共100多项，包括500多万个人工判断）训练而成的模型。这些任务是通过使用之前研究中公开发布的人工评估数据进行精心策划和标准化的。实验结果表明，FLAMe在泛化到多种保留任务方面取得了显著的改进，表现优于GPT-4和Claude-3等基于专有数据的LLM。此外，FLAMe还可以作为进一步下游微调的强大起点，例如通过奖励建模评估（FLAMe-RM）来进行。特别地，在RewardBench基准测试中，FLAMe-RM-24B模型（准确率为87.8%）在性能上超越了GPT-4-0125（准确率为85.9%），成为第一个在RewardBench上取得优异表现的自由许可数据训练的模型。为了进一步提高效率，研究者们还采用了一种新颖的尾修补微调策略，优化了用于奖励建模评估的FLAMe多任务混合模型（FLAMe-Opt-RM），该策略在RewardBench上提供了竞争力表现，同时所需的训练数据点大约减少了25倍。总的来说，FLAMe在8个自动评分评估基准中的12个中超过了所有考虑的流行专有LLM-as-a-Judge模型，包括53项质量评估任务，涵盖RewardBench和LLM-AggreFact。最后，研究者的分析发现，FLAMe在CoBBLEr自动评分偏见基准上显著少于这些LLM-as-a-Judge模型的偏见，同时能有效识别代码生成的优质响应。

链接：https://www.aminer.cn/pub/6695d3c001d2a3fbfccec12f/?f=cs

2.Hey, That’s My Model! Introducing Chain & Hash, An LLM Fingerprinting Technique

本文讨论了大型语言模型（LLM）容易被盗窃和误用的问题，提出了一种名为Chain Hash的新型指纹技术。该技术能帮助模型所有者追踪特定的模型，以确定其是否被滥用或被盗。文章首先定义了成功指纹应具备的五个属性：透明、高效、持久、健壮和不可伪造。随后，作者提出了Chain Hash方法，通过加密方式生成一组问题（即指纹）和潜在答案，利用安全散列技术将这些元素结合在一起，为每个问题选择值，从而提供不可伪造性属性，防止敌意行为者声称虚假所有权。研究对Chain Hash技术进行了多模型评估，证明了其对良性变化（如在不同数据集上微调）和敌意尝试擦除指纹的鲁棒性。最终实验显示，实施Chain Hash的高效性和实用性，带指纹的模型在不同基准测试中的表现与非带指纹的模型几乎相同。

链接：https://www.aminer.cn/pub/6695d3c001d2a3fbfccec178/?f=cs

3.Human-like Episodic Memory for Infinite Context LLMs

这篇论文介绍了一种新方法EM-LLM，该方法将人类的情景记忆和事件认知的关键方面整合到大型语言模型（LLM）中，使它们能够有效地处理几乎无限的上下文长度，同时保持计算效率。EM-LLM通过在线组合贝叶斯惊喜和图论边界细化，将有符号序列组织成连贯的情景事件。当需要时，这些事件通过两阶段的记忆过程检索，结合基于相似性和时间连续性的检索，以有效和类似于人类的方式访问相关信息。在LongBench数据集上的实验表明，EM-LLM的性能优于最先进的InfLLM模型，总体相对改进为4.3，包括33。分析显示，EM-LLM的事件分割与人类感知的事件之间存在强烈的相关性，这表明这种人工系统与其生物学对应物之间存在一座桥梁。这项工作不仅推动了LLM在处理扩展上下文方面的能力，而且为探索人类记忆机制提供了计算框架，为AI和认知科学领域的跨学科研究开辟了新的途径。

链接：https://www.aminer.cn/pub/6694829701d2a3fbfc866493/?f=cs

4.Investigating Low-Rank Training in Transformer Language Models: Efficiency and Scaling Analysis

本研究关注基于Transformer的语言模型，特别是将低秩参数化应用于计算密集型的前馈网络（FFNs），这些网络相比注意力块受到的关注较少。与之前的工作不同，我们探索了在大规模参数下的低秩参数化（高达13亿参数），并且是在Transformer语言模型中而不是卷积架构中，并且从零开始训练。在大型RefinedWeb数据集上的实验表明，低秩参数化既高效（例如，使用32%参数实现2.6倍的FFN速度提升），又在训练过程中有效。有趣的是，这些结构化的FFNs显示出比原始模型更陡的缩放曲线。受到这一发现的启发，我们开发了宽度和结构化的网络，其性能在每plexity和吞吐量方面超过了当前的中型和大型Transformer。

链接：https://www.aminer.cn/pub/6695d3ae01d2a3fbfccea09c/?f=cs

5.RAG vs. Long Context: Examining Frontier Large Language Models for Environmental Review Document Comprehension

本文研究了大语言模型在环境评估文件理解方面的应用。大语言模型已经被应用于许多不同领域的研究问题，其中之一就是为不同领域的用户提供问答系统。已有研究表明，基于大语言模型的问答系统在流行和公共领域如常识和文学方面对用户的提问已达到可接受的水平。然而，在需要专业知识的传统小众领域中，这一点尚未得到充分证明。为此，我们构建了NEPAQuAD1.0基准，以评估三种前沿大语言模型——Claude Sonnet、Gemini和GPT-4在回答源自美国联邦政府机构根据国家环境政策法（NEPA）制定的环境影响声明的问题时的表现。我们特别衡量了大语言模型在不同情境下理解NEPA文件中法律、技术和合规相关信息的能力。例如，我们通过提供没有上下文的问题来测试大语言模型的内部先前NEPA知识，并评估大语言模型如何合成长篇NEPA文档中的上下文信息以促进问答任务。我们比较了处理不同类型问题（如解决问题、发散性）的长上下文大语言模型和RAG驱动模型的性能。结果显示，无论选择哪种前沿大语言模型，RAG驱动模型在答案准确性上明显优于长上下文模型。进一步分析表明，许多模型在回答闭合问题方面表现得更好，而在处理发散性和解决问题方面表现较差。

链接：https://www.aminer.cn/pub/668f3cf001d2a3fbfcf54d49/?f=cs

---

AMiner AI入口：
https://www.aminer.cn/chat/g/explain?f=cs