小白学大模型：L-Eval 长文本评测

随着大型语言模型（LLMs）的发展，人们越来越关注如何扩展这些模型的上下文长度，以便更有效地处理长输入或具有广泛历史的对话。虽然像GPT-4和Claude这样的专有模型能够在扩展的上下文中保持推理能力，但开源模型仍处于发展的早期阶段。

https://arxiv.org/pdf/2307.11088

L-Eval是一个针对长上下文语言模型的更标准化的评估体系，其包含20个子任务、508个长文档和超过2000个人工标记的查询-响应对，这些内容涵盖了不同的问题风格、领域和输入长度（3k到200k个token）。

unsetunset长上下文语言模型unsetunset

长上下文输入会导致语言模型训练和推理中的瓶颈问题，因为它们需要大量的计算资源。一些社区工作集中在开发高效的注意力机制来构建高效的语言模型。一些研究工作专注于将输入分块，以同时建模当前文本块和之前的上下文状态，有效扩展了上下文处理的长度。

• 位置嵌入的可扩展性：位置嵌入的可扩展性也是关键问题，一些方法如ALiBi和XPOS强调局部上下文的重要性以增强模型的外推能力。

• 上下文长度扩展方法：基于RoPE的方法如PI（位置插值）和NTK-aware是扩展上下文长度的流行方法。然而，这些方法主要通过困惑度（PPL）来验证，并没有在实际任务上进行系统性验证。

在文章的第三部分，作者详细介绍了L-Eval数据集构建的关键步骤。具体来说，他们展示了从零开始的注释、重新注释以及手动筛选流程，并对L-Eval的数据进行了统计。以下是各个子任务的详细说明：

unsetunsetL-Eval 数据集介绍unsetunset

数据集来源

1. Coursera：这个数据集来源于Coursera网站上的公共课程，特别是与大数据和机器学习相关的课程。输入的长文档是视频的字幕，问题和正确答案由作者标注。Coursera数据集的特点是采用多项选择的指令格式，并设置了多个正确选项，这增加了任务的难度。

2. SFcition：这个子任务是为了测试LCLM对输入上下文的忠实度。作者认为，在LCLM中，上下文知识（存储在长输入中）比参数知识（在预训练期间获得）更为重要。为了模拟这种情况，作者注释了一个由真或假问题组成的科幻数据集，这些问题的答案通常与现实世界的原则相矛盾，不符合实际的物理定律。

3. CodeU：作为一个代码理解数据集，它要求LLM推断一个长Python程序的输出。主要使用Numpy库的源代码，并构建了一个字符串处理的代码库。为了防止LLM基于参数知识回答问题，作者替换了原始的函数名称。

4. LongFQA：注意到金融领域缺乏长上下文问答数据集，作者基于6家公司网站投资者关系部分的公共收益电话会议记录注释了问答对。

作者还在L-Eval中重新注释了5个公开可用的数据集：

• GSM(16-shot) ：来源于GSM8k数据集的100个高中数学问题。作者构建了16个上下文示例，其中8个来自chain-of-thought-hub，另外8个由作者构建。

• QuALITY：作者向这个数据集注入了新的综合指令，以测试全局上下文建模的能力。

• Openreview：包含从openreview.net收集的论文。作者要求模型写摘要、总结相关工作，并给出反馈，包括有价值的建议和一些问题。

• SPACE：用于测试基于方面的评论总结任务，数据集的指令由作者注释。

• TopicRet：L-Eval包括一个流行的第一个主题检索任务，但作者发现检索第二个和第三个主题的任务更具挑战性，因此增强了这个任务。

数据筛选和校正

• 现有数据集的问题：剩余的12个任务来源于之前评估套件中使用的现有数据集。但作者发现，这些长序列数据集的注释质量波动很大，存在许多与上下文无关、无法回答的问题。

• 手动筛选和校正的必要性：由于这些问题很难通过之前工作中使用的自动预处理脚本来纠正，因此在L-Eval中，在数据收集之后，所有样本都经过了人工筛选和校正。

• 使用Claude-100k作为助手：作者使用Claude-100k模型作为助手来筛选错误的问答对和无法回答的问题。

数据集问题类型

• 多项选择题（TOEFL, QuALITY, Coursera）

• 真/假问题（SFiction）

• 数学问题（GSM）

• 代码理解（CodeU）

• 目标导向对话（MultiDoc2Dial）

• 提取式问答（CUAD, NQ）

• 抽象式问答（LongFQA, NarrativeQA, Qasper）

• 单文档摘要（GovReport, BigPatent, SummScreen, QMSum）

• 多文档摘要（Multi-News, SPACE）

• 研究写作（Openreview）

在文章的第4节中，作者提出了用于文本生成的各种评估指标，包括封闭式任务的考试评估和不同层次的开放式任务评估，其中大多数是基于参考的指标。此外，作者还进行了实验，研究了自动化指标与人类评分之间的相关性。以下是详细内容：

unsetunset长上下文评估指标unsetunset

考试评估（Exam evaluation）

• 这种评估方法专为封闭式任务设计，例如多项选择题。

• 使用的评估指标是精确匹配格式（准确率%），类似于批改考试试卷。

• 每个问题的分数计算为100除以问题数量。

人类评估（Human evaluation）

• 对于开放式任务，人类评估是最准确的评估方式。

• 尽管一些研究表明GPT-4可以与人类判断保持一致，但LLMs无法取代人类评估。

• 作者聘请人类评估者根据1到5的等级对输出进行评分，其中1表示输出较差，5表示输出优秀。

大型语言模型评估员（Large language model judges for evaluating LCLMs）

• 在短上下文设置中，使用LLMs进行评估是自动评估开放式任务的最准确指标。

• 这些工作假设LLM评估器是一个“超级模型”，但在长上下文设置中，这一假设不成立，因为不可能将所有长输入喂给像GPT-4这样的LLMs。

• 在L-Eval中，作者采用成对比较的格式，选择Turbo-16k-0613作为基础模型，并报告与Turbo-16k-0613相比的胜率%，即有多少样本能够超越Turbo-16k。

N-gram匹配评估（N-gram matching evaluation）

• 考虑到对所有任务进行人类/LLM评估仍然成本高昂，L-Eval还考虑了n-gram指标。

• 像ROUGEL（R-L）和F-1分数这样的n-gram指标在传统数据集中广泛使用，并且在通过执行词汇匹配的文本生成基准测试中也被广泛采用。

• 值得注意的是，n-gram匹配指标对真实答案的长度非常敏感，表现出长度偏差。

unsetunsetGLM 长文本评测unsetunset

测试输入为 L-Eval 数据集样例

从速度角度来看，glm-4-long模型具有最快的响应速度，仅需4.29秒。其次是glm4-airx，响应速度为4.78秒。而glm-4模型的响应速度最慢，需要19.5秒。

模型	响应速度	返回长度
glm-3-turbo	6.8 s	228 字符
glm4-airx	4.78 s	513 字符
glm4-air	6.65 s	472 字符
glm-4	19.5 s	898 字符
glm-4-9b	8.29 s	632 字符
glm-4-long	4.29 s	832 字符

那么，我们该如何学习大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。

以上的AI大模型学习路线，不知道为什么发出来就有点糊，高清版可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。