UnknownBody
AI博士,最近一直follow大模型相关论文,每日会更新学术界论文的进展。
展开
-
LogicBench: Towards Systematic Evaluation of Logical Reasoning Ability of Large Language Models
最近开发的大型语言模型(LLM)已被证明在广泛的语言理解任务中表现出色。但是,他们真的能“推理”自然语言吗?这个问题一直受到广泛的研究关注,许多推理技巧,如常识、数值和定性,都得到了研究。然而,与“逻辑推理”相关的关键技能仍未得到充分探索。现有的研究LLM这种推理能力的工作只集中在命题逻辑和一阶逻辑的几个推理规则(如模式子和模式子)上。针对上述局限性,我们综合评估了LLM在跨越命题逻辑、一阶逻辑和非单调逻辑的25种不同推理模式上的逻辑推理能力。原创 2024-08-26 09:50:48 · 123 阅读 · 0 评论 -
PROMETHEUS 2: An Open Source Language Model Specialized in Evaluating Other Language Models
GPT-4等专有LM通常用于评估各种LM的响应质量。然而,包括透明度、可控性和可负担性在内的担忧强烈推动了专门从事评估的开源LM的发展。另一方面,现有的开放式评估器LMs表现出严重的缺点:1)它们发布的分数与人类分配的分数存在显著差异,2)它们缺乏执行直接评估和成对排名的灵活性,这是两种最常见的评估形式。此外,他们不具备根据自定义评估标准进行评估的能力,而是专注于有用性和无害性等一般属性。原创 2024-08-24 19:29:16 · 62 阅读 · 0 评论 -
Towards Coarse-to-Fine Evaluation of Inference Efficiency for Large Language Models
在现实世界中,大型语言模型(LLM)可以作为帮助用户完成工作的助手,也可以支持高级应用程序的开发。对于LLM的广泛应用,推理效率是一个至关重要的问题,在现有的工作中得到了广泛的研究,并提出了许多优化算法和代码库来提高它。尽管如此,用户仍然发现比较上述所有方法的有效性并理解其潜在机制具有挑战性。在这项工作中,我们对各种代码库的推理性能进行了详细的从粗到细的分析。为了评估整体有效性,我们考察了两个实际应用中的四种使用场景。我们还对Transformer架构中的每个模块进行了深入的理论和实证分析。原创 2024-08-14 10:33:08 · 16 阅读 · 0 评论 -
Evaluating Interventional Reasoning Capabilities of Large Language Models
许多决策任务需要估计干预措施对系统不同部分的因果影响。随着从业者考虑使用大型语言模型(LLM)来自动化决策,研究它们的因果推理能力变得至关重要。最近的一项工作评估了LLM检索常识因果事实的能力,但这些评估并没有充分评估LLM如何推理干预措施。受干预在因果推理中的作用的启发,在本文中,我们进行了实证分析,以评估LLM是否能够准确地更新他们对数据生成过程的知识,以应对干预。我们创建了跨越不同因果图(如混淆、中介)和变量类型的基准,并能够研究基于干预的推理。原创 2024-07-30 10:20:09 · 24 阅读 · 0 评论 -
FreeEval: A Modular Framework for Trustworthy and Efficient Evaluation of Large Language Models
大型语言模型(LLM)评估方法和数据集的快速发展带来了一个深刻的挑战:经济高效地整合最先进的评估技术,同时确保可靠性、可重复性和效率。目前,明显缺乏一个统一且适应性强的框架,能够无缝整合各种评估方法。此外,由于潜在的数据污染,评估结果的可靠性往往值得怀疑,在面临与LLM推理相关的巨额成本时,评估效率往往被忽视。为了应对这些挑战,我们引入了FreeEval,这是一个模块化和可扩展的框架,旨在实现对LLM的可靠和高效的自动评估。原创 2024-07-30 09:42:32 · 23 阅读 · 0 评论 -
The RealHumanEval: Evaluating Large Language Models’ Abilities to Support Programmers
对代码的大型语言模型(LLM)的评估主要依赖于静态基准,包括HumanEval,该基准衡量LLM生成通过单元测试的完整代码的能力。随着LLM越来越多地被用作程序员助理,我们研究了在使用LLM编码时,现有基准的收益是否会转化为程序员生产力的提高,包括编码所花费的时间。除了静态基准测试外,我们还研究了偏好指标的效用,这些指标可能被用作衡量LLM有用性的代理,如代码接受率或复制率。为此,我们引入了RealHumanEval,这是一个web界面,用于衡量LLM通过自动完成或聊天支持来帮助程序员的能力。原创 2024-07-26 10:26:34 · 99 阅读 · 0 评论 -
CODEEDITORBENCH: EVALUATING CODE EDITING CAPABILITY OF LARGE LANGUAGE MODELS
代码的大型语言模型(LLM)正在迅速发展,代码编辑成为一项关键能力。我们介绍CodeEditorBench,这是一个评估框架,旨在严格评估LLM在代码编辑任务中的性能,包括调试、翻译、打磨和需求切换。与仅专注于代码生成的现有基准不同,CodeEditorBench强调软件开发的真实场景和实际方面。我们从五个来源策划了各种编码挑战和场景,涵盖了各种编程语言、复杂性级别和编辑任务。原创 2024-07-24 09:21:07 · 130 阅读 · 0 评论 -
Evalverse: Unified and Accessible Library for Large Language Model Evaluation
本文介绍了Evalverse,这是一个新的库,通过将不同的评估工具统一到一个单一的用户友好的框架中,简化了大型语言模型(LLM)的评估。Evalverce使人工智能知识有限的个人能够轻松地请求LLM评估并接收详细的报告,这得益于与Slack等通信平台的集成。因此,Evalverse是对LLM进行全面评估的强大工具,为研究人员和从业者提供了一个集中且易于访问的评估框架。最后,我们还为Evalverce提供了一段演示视频,以两分钟的格式展示了它的功能和实施。原创 2024-07-19 14:47:26 · 37 阅读 · 0 评论 -
Federated Evaluation of Large Language Models on Downstream Tasks with Collective Wisdom
联邦学习(FL)已成为大型语言模型(LLM)协作训练的一种有前景的解决方案。然而,将LLMs整合到FL中带来了新的挑战,特别是在LLMs的评估方面。传统的评估方法依赖于标记的测试集和基于相似性的指标,只覆盖了可接受答案的一个子集,因此无法准确反映LLM在生成任务上的性能。同时,尽管利用先进LLM的自动评估方法具有潜力,但由于需要将数据传输到外部服务器,它们面临着数据泄露的关键风险,并且由于缺乏领域知识,下游任务的性能也不是最优的。原创 2024-07-14 22:28:03 · 139 阅读 · 0 评论 -
A Comprehensive Evaluation on Event Reasoning of Large Language Models
事件推理是许多应用程序的基础能力。它需要事件模式知识来执行全局推理,并需要处理事件间关系和推理范式的多样性。LLM在各种关系和推理范式上完成事件推理的程度仍然未知。为了缓解这种差异,我们全面评估了LLM的事件推理能力。我们引入了一个新的基准EV2来评估EVent推理。EV2由模式和实例两个层次的评估组成,在关系和推理范式方面是全面的。我们在EV2上进行了广泛的实验。我们发现LLMs具有完成事件推理的能力,但他们的表现远不能令人满意。我们还注意到LLMs中事件推理能力的不平衡。原创 2024-07-12 15:32:54 · 161 阅读 · 0 评论 -
LangBiTe: A Platform for Testing Bias in Large Language Models
将大型语言模型(LLM)集成到各种软件应用程序中,引发了人们对其潜在偏见的担忧。通常,这些模型是在论坛、网站、社交媒体和其他互联网来源的大量数据上训练的,这些数据可能会在模型中灌输有害和歧视性的行为。为了解决这个问题,我们提出了LangBiTe,这是一个系统评估LLM中是否存在偏见的测试平台。LangBiTe使开发团队能够定制他们的测试场景,并根据一组用户定义的道德要求自动生成和执行测试用例。每个测试都由一个输入LLM的提示和一个相应的测试预言器组成,该预言器仔细检查LLM的响应以识别偏差。原创 2024-07-11 17:01:11 · 28 阅读 · 0 评论 -
FoundaBench: Evaluating Chinese Fundamental Knowledge Capabilities of Large Language Models
在新兴的大型语言模型(LLMs)领域,基础知识的评估仍然是一个关键的挑战,特别是对于适合中国语言和文化的模型。本文介绍了FoundaBench,这是一个旨在严格评估中文LLM基础知识能力的开创性基准。FoundaBench包含3354道常识和K12教育科目的多项选择题,经过精心策划,反映了日常和学术知识的广度和深度。我们使用FoundaBench对12种最先进的LLM进行了广泛的评估,采用传统的评估方法和我们的CircularEval协议来减轻模型响应中的潜在偏差。原创 2024-07-11 16:30:31 · 16 阅读 · 0 评论 -
Evaluating the Elementary Multilingual Capabilities of Large Language Models with MULTIQ
大型语言模型(LLM)需要为每个人服务,包括全球大多数非英语使用者。然而,今天的大多数LLM,尤其是开放式LLM,通常只用于英语(例如Llama2、Mistral)或少数高资源语言(例如Mixtral、Qwen)。最近的研究表明,尽管LLM的预期用途有限,但人们还是用许多不同的语言提示LLM。因此,在本文中,我们研究了最先进的多语言能力打开超出预期用途的LLM。为此,我们引入了MULTIQ,这是一个新的银标准基准,用于基本的开放式问题回答,在137种语言的类型多样的集合中有27.4k道测试题。原创 2024-07-04 09:35:42 · 83 阅读 · 0 评论 -
S-Eval: Automatic and Adaptive Test Generation for Benchmarking Safety Evaluation of Large Language
大型语言模型(LLM)因其革命性的功能而备受关注。然而,人们也越来越担心其安全影响,因为LLM产生的输出可能包含各种有害内容,因此在模型部署之前迫切需要对LLM进行全面的安全评估。现有的安全评估基准仍然存在以下局限性:1)缺乏统一的风险分类法,难以系统地对不同类型的风险进行分类、评估和认识;2)薄弱的风险限制了有效反映LLM安全性的能力;3)测试提示生成、选择和输出风险评估缺乏自动化。为了应对这些关键挑战,我们提出了S-Eval,这是一种新的全面、多维和开放式LLM安全评估基准。原创 2024-06-28 10:09:59 · 124 阅读 · 0 评论 -
MANGO: A Benchmark for Evaluating Mapping and Navigation Abilities of Large Language Models
诸如ChatGPT和GPT-4之类的大型语言模型最近在各种自然语言处理任务上取得了惊人的性能。在本文中,我们提出了MANGO,这是一个评估它们执行基于文本的映射和导航能力的基准。我们的基准测试包括53个取自一套文本游戏的迷宫:每个迷宫都有一个漫游,可以访问每个位置,但不覆盖所有可能的路径。任务是回答问题:对于每个迷宫,一个大型语言模型阅读漫游,并回答数百个地图和导航问题,如“你应该如何从房子的西面去阁楼?”和“如果我们从地窖向北和向东去,我们在哪里?原创 2024-06-27 10:28:28 · 93 阅读 · 0 评论 -
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code
应用于代码相关应用程序的大型语言模型(LLM)已成为一个突出的领域,吸引了学术界和工业界的极大兴趣。然而,随着新的和改进的LLM的开发,现有的评估基准(如HumanEval、MBPP)不再足以评估其能力。在这项工作中,我们提出了LiveCodeBench,这是一种对代码LLM的全面且无污染的评估,它从三个竞争平台(即LeetCode、AtCoder和CodeForces)的比赛中收集新问题。值得注意的是,我们的基准测试还关注更广泛的代码相关功能,如自修复、代码执行和测试输出预测,而不仅仅是代码生成。原创 2024-06-24 15:34:06 · 426 阅读 · 0 评论 -
Exploring the Impact of the Output Format on the Evaluation of Large Language Models
编程语言之间的代码翻译是软件工程中一项长期存在的关键任务,有助于传统系统的现代化,确保跨平台兼容性,并提高软件性能。随着大型语言模型(LLM)及其在代码翻译中的应用的最新进展,人们越来越需要对这些模型进行全面评估。在这项研究中,我们在五种语言(包括C、C++、Go、Java和Python)的3820个翻译对上实证分析了11个流行的指令调整LLM的生成输出,参数范围从1B到46.7B。原创 2024-06-21 10:03:09 · 106 阅读 · 0 评论 -
A systematic evaluation of large language models for generating programming code
我们系统地评估了七个大型语言模型在使用各种提示策略、编程语言和任务困难生成编程代码方面的性能。GPT-4大大优于其他大型语言模型,包括Gemini Ultra和Claude 2。GPT-4的编码性能因不同的提示策略而有很大差异。在本研究评估的大多数LeetCode和GeeksforGeeks编码比赛中,采用最佳提示策略的GPT-4优于85%的人类参与者。此外,GPT-4在不同编程语言之间转换代码以及从过去的错误中学习方面表现出强大的能力。GPT-4生成的代码的计算效率与人类程序员的计算效率相当。原创 2024-06-19 10:47:43 · 28 阅读 · 0 评论 -
CheckEval: Robust Evaluation Framework using Large Language Model via Checklist
我们介绍了CheckEval,这是一种使用大型语言模型的新评估框架,解决了当前评估方法中歧义和不一致的挑战。CheckEval通过将评估标准划分为详细的子问题,并为每个问题构建布尔问题清单,简化评估,来解决这些挑战。这种方法不仅使过程更具可解释性,而且通过关注特定的评估维度,显著提高了结果的稳健性和可靠性。通过使用SummEval基准的重点案例研究验证,CheckEval表明与人类判断有很强的相关性。此外,它还展示了一个高度一致的注释者间协议。原创 2024-06-17 10:57:58 · 234 阅读 · 0 评论 -
Dual Instruction Tuning with Large Language Models for Mathematical Reasoning
最近的进展突出了利用思想链(CoT)数据进行数学推理任务的大型语言模型(LLM)的指令调整的成功。尽管LLM经过了微调,但挑战依然存在,例如CoT生成中不正确、缺失和冗余的步骤,导致答案预测不准确。为了缓解这个问题,我们提出了一种双指令调整策略,从正向和反向对数学推理进行精心建模。这包括引入中间推理状态预测任务(正向推理)和指令重构任务(反向推理),以增强LLM对指令的理解和执行。这些任务的训练实例是基于现有的数学指令调整数据集构建的。随后,LLM使用现有的数学指令和新创建的数据进行多任务微调。原创 2024-06-17 09:39:09 · 79 阅读 · 0 评论 -
Pragmatic Competence Evaluation of Large Language Models for Korean
目前对大型语言模型(LLM)的评估主要依赖于通过多项选择题(MCQ)进行测试来关注其嵌入知识的基准,这是一种天生适合自动评估的格式。我们的研究扩展了这一评估,以探索LLM的语用能力——在复杂的LLM出现之前,特别是在韩语的背景下,这一方面以前没有得到充分的研究。我们采用了两种不同的评估设置:适用于自动评估的传统MCQ格式和由人类专家评估的开放式问题(OEQ),以在没有预定义选项的情况下检查LLM的叙述性反应能力。原创 2024-06-11 10:27:20 · 22 阅读 · 0 评论 -
A Large-scale Holistic Multi-subject Knowledge Evaluation Benchmark for Chinese Large Language Model
中文大型语言模型(LLM)最近在各种NLP基准测试和实际应用中展示了令人印象深刻的功能。然而,全面评估这些LLM的现有基准仍然不足,特别是在衡量LLM所获取的知识方面。目前的数据集收集了不同科目和教育水平的语文考试问题,以解决这一问题。然而,这些基准主要集中在选择题等客观问题上,导致问题类型缺乏多样性。为了解决这个问题,我们在本文中提出了LHMKE,一个大规模、整体和多学科的知识评估基准。LHMKE旨在对中文LLM的知识获取能力进行全面评估。原创 2024-06-05 09:13:37 · 25 阅读 · 0 评论 -
DiaHalu: A Dialogue-level Hallucination Evaluation Benchmark for Large Language Models
由于近年来大型语言模型(LLM)取得了显著的成功,幻觉问题仍然是一个挑战,因此提出了许多检测幻觉的基准。尽管如此,其中一些基准并不是LLM自然生成的,而是有意诱导的。此外,许多人只关注真实性幻觉,而忽视了忠实性幻觉。此外,尽管对话模式在LLM时代得到了更广泛的应用,但目前的基准只集中在句子层面和段落层面的幻觉。在这项研究中,我们提出了DiaHalu,这是我们所知的第一个对话级幻觉评估基准。最初,我们将收集的主题集成到系统提示中,并促进两个ChatGPT3.5之间的对话。原创 2024-06-03 14:03:08 · 35 阅读 · 0 评论 -
A Multi-evidence, Position-aware, and Scalable Benchmark for Evaluating Long-Context LLMs
虽然最近的研究工作集中在开发具有强大长上下文能力的大型语言模型(LLM)上,但由于缺乏长上下文基准,人们对长上下文LLM的性能知之甚少。为了解决这一差距,我们提出了一种用于评估长上下文LLM的多证据、位置感知和可扩展的基准,名为Counting Stars,它通过使用两个任务来评估长上下文LLC:多证据获取和多证据推理。原创 2024-06-02 00:10:52 · 149 阅读 · 0 评论 -
Evaluating Declarative and Procedural Knowledge in Datasets and Large Language Models
陈述性知识和程序性知识是元认知理论中的两个关键部分,这两个部分在LLM的预训练和推理中具有重要意义。然而,主要由于定义、探究和定量评估方面的挑战,缺乏对这两类知识进行全面比较的分析。在本文中,我们从一个新的角度进行了探索,为LLM提供了基础知识并评估了有效分数。通过对广泛使用的数据集和模型进行广泛的实验,我们得出结论:(1)在大多数任务中,声明性知识的收益大于过程性知识。(2) 只有在具有简单逻辑的推理任务中,程序性知识的利润才大于声明性知识。原创 2024-05-29 11:07:14 · 35 阅读 · 0 评论 -
FineMath: A Fine-Grained Mathematical Evaluation Benchmark for Chinese Large Language Models
为了全面评估大型语言模型(LLM)的数学推理能力,我们需要仔细策划涵盖不同数学概念和不同难度的数学问题的评估数据集。为了实现这一目标,我们在本文中提出了FineMath,这是一个用于评估中文LLM的细粒度数学评估基准数据集。FineMath旨在涵盖小学数学中教授的主要关键数学概念,这些概念又分为17类数学单词问题,从而能够深入分析LLM的数学推理能力。根据解决这些问题所需的推理步骤的数量,手动注释所有17类数学单词问题的难度等级。原创 2024-05-26 12:02:40 · 130 阅读 · 0 评论 -
AC-EVAL: Evaluating Ancient Chinese Language Understanding in Large Language Models
鉴于古代汉语在捕捉丰富历史文化遗产精髓方面的重要性,大型语言模型(LLM)的快速发展需要能够有效评估其对古代语境理解的基准。为了满足这一需求,我们提出了AC-EVAL,这是一个创新的基准,旨在评估LLM在古代汉语背景下的高级知识和推理能力。AC-EVAL分为三个难度级别,反映了语言理解的不同方面:一般历史知识、短文本理解和长文本理解。该基准包括13项任务,涵盖历史事实、地理、社会习俗、艺术、哲学、古典诗歌和散文,提供了一个全面的评估框架。原创 2024-05-24 13:50:23 · 31 阅读 · 0 评论 -
CLongEval: A Chinese Benchmark for Evaluating Long-Context Large Language Models
开发具有强大长上下文能力的大型语言模型(LLM)是近年来的研究热点,导致了精通汉语的长上下文LLM的出现。然而,由于缺乏基准,对这些模型的评估仍不完善。为了解决这一差距,我们提出了CLongEval,这是一个评估长上下文LLM的综合中文基准。CLongEval的特点有三个:(1)数据量充足,包括7个不同的任务和7267个例子;(2) 广泛的适用性,适用于上下文窗口大小从1K到100K的模型;(3) 高质量,除了自动构建的标签外,还有2000多个手动注释的问答对。原创 2024-05-24 09:38:54 · 125 阅读 · 0 评论 -
Benchmarking the Text-to-SQL Capability of Large Language Models: A Comprehensive Evaluation
大型语言模型(LLM)已成为推进文本到SQL任务的强大工具,显著优于传统方法。然而,作为一个新兴的研究领域,对于最佳的提示模板和设计框架仍然没有达成共识。此外,现有的基准测试没有充分探讨LLM在文本到SQL过程的各个子任务中的性能,这阻碍了LLM认知能力的评估和基于LLM的解决方案的优化。为了解决上述问题,我们首先构建了一个新的数据集,旨在降低LLM中过拟合的风险。然后,我们制定了五个评估任务,以全面评估在整个文本到SQL过程中各种LLM的不同方法的性能。原创 2024-05-23 09:55:50 · 47 阅读 · 0 评论 -
Rethinking Generative Large Language Model Evaluation for Semantic Comprehension
尽管大型语言模型(LLM)具有复杂的功能,但在有效评估中遇到了一个主要障碍。本文首先回顾了流行的评估方法——多选问题回答(MCQA),它允许直接测量准确性。通过对11个基准的24个模型进行全面评估,我们强调了MCQA的几个潜在缺点,例如,MCQA评估与实际场景中生成开放式响应之间的不一致。作为回应,我们引入了RWQ Elo评级系统,以两人竞争的形式吸引了24名LLM,如GPT-4、GPT-3.5、Google Gemini Pro和LLaMA-1/-2,由GPT-4担任评委。原创 2024-05-23 09:21:19 · 137 阅读 · 0 评论 -
Towards Personalized Evaluation of Large Language Models with An Anonymous Crowd-Sourcing Platform
大型语言模型评价在提高其能力方面起着至关重要的作用。以前,在这个领域已经提出了许多评估大型语言模型的方法。尽管这些现有的工作很有效,但它们主要侧重于评估客观问题,而忽略了评估主观问题的能力,这在大型语言模型中非常常见。此外,这些方法主要利用集中的数据集进行评估,问题库集中在评估平台本身。此外,这些平台采用的评估过程往往忽视了个性化因素,忽视了评估者和被评估模型的个人特征。原创 2024-05-22 10:42:24 · 82 阅读 · 0 评论 -
LLM Comparator: Visual Analytics for Side-by-Side Evaluation of Large Language Models
自动并排评估已成为评估大型语言模型(LLM)响应质量的一种很有前途的方法。然而,分析这种评估方法的结果会带来可扩展性和可解释性方面的挑战。在本文中,我们介绍了LLM Comparator,这是一种新颖的视觉分析工具,用于交互式分析自动并排评估的结果。该工具支持交互式工作流,用户可以了解模型何时以及为什么比基线模型表现更好或更差,以及两个模型的响应在质量上有何不同。我们与一家大型科技公司的研究人员和工程师密切合作,反复设计和开发了该工具。原创 2024-05-15 16:16:43 · 32 阅读 · 0 评论 -
UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models
大型语言模型(LLM)可能会生成与人类知识不一致的文本,导致事实不准确或产生幻觉。现有的评估LLM真实性的研究包括使用LLM提取事实声明,并根据预定义的事实来源进行验证。然而,这些评估指标是特定于任务的,并且不可扩展,并且事实来源在不同任务中的可替代性还没有得到充分的探索。为了应对这些挑战,我们对四个可用的事实来源进行了分类:人类书面证据、参考文档、搜索引擎结果和LLM知识,以及包含六个代表性数据集的五个文本生成任务。原创 2024-04-30 11:16:27 · 20 阅读 · 0 评论 -
Beyond Probabilities: Unveiling the Misalignment in Evaluating Large Language Models
大型语言模型(LLM)在各种应用程序中表现出了非凡的能力,从根本上重塑了自然语言处理(NLP)研究的格局。然而,最近的评估框架通常依赖LLM的输出概率进行预测,这主要是由于计算限制,与现实世界的LLM使用场景不同。尽管这些基于概率的评估策略被广泛使用,但其有效性仍然是一个悬而未决的研究问题。本研究旨在在使用LLM进行多项选择题(MCQ)的背景下,仔细审查这种基于概率的评估方法的有效性,强调其固有的局限性。我们的实证研究表明,流行的基于概率的评估方法与基于生成的预测不完全一致。原创 2024-04-26 17:42:53 · 69 阅读 · 0 评论 -
OMGEVAL:An Open Multilingual Generative Evaluation Benchmark for Large Language Models
现代大型语言模型(LLM)通常应使来自世界各地不同文化背景的个人受益。然而,最新的LLM高级生成性评估基准主要集中在英语上。为此,我们介绍了OMGEval,这是第一个开源多语言生成测试集,可以评估LLM在不同语言中的能力。对于每种语言,OMGEval提供了804个开放式问题,涵盖了LLM的广泛重要功能,如一般知识、逻辑推理等。每个问题都经过人工注释器的严格验证。值得注意的是,为了充分反映LLM在不同文化背景下的兼容性,我们对每种非英语语言进行了本地化。原创 2024-04-26 13:58:18 · 34 阅读 · 0 评论 -
Benchmarking Knowledge Boundary for Large Language Model A Different Perspective on Model Evaluation
近年来,大型语言模型的开发取得了长足的进步,在各种任务中都取得了显著的性能。为了评估语言模型的知识能力,先前的研究已经提出了许多基于问答对的基准。我们认为,用固定的问题或有限的转述作为查询来评估语言模型是不可靠和不全面的,因为语言模型对提示很敏感。因此,我们引入了一个新的概念,称为知识边界,在语言模型中包含提示不可知知识和提示敏感知识。知识边界避免了语言模型评估中的提示敏感性,使其更加可靠和稳健。原创 2024-04-19 16:10:25 · 42 阅读 · 0 评论 -
Taxonomy-based CHECKLIST for Large Language Model Evaluation
由于大型语言模型(LLM)已被用于许多下游任务,内部的陈规定型表示可能会影响输出的公平性。在这项工作中,我们将人类知识引入自然语言干预,并在性别偏见的背景下研究预训练的语言模型的行为。受CHECKLIST行为测试的启发,我们提出了一项清单式任务,旨在通过问答(QA)来调查和量化LMs的不道德行为。我们设计了三个比较研究,从一致性、偏向性、模式偏好和性别偏好转换四个方面来评估LMs。我们研究了一个在SQuAD-v2数据集上训练的基于transformer的QA模型和一个自回归大型语言模型。原创 2024-04-19 11:15:44 · 21 阅读 · 0 评论 -
CRITICBENCH: Evaluating Large Language Models as Critic
批评能力对于大型语言模型(LLM)的可扩展监督和自我完善至关重要。尽管最近的许多研究探索了LLM在生成中判断和完善缺陷的批判能力,但如何全面可靠地衡量LLM的批判能力却没有得到充分的探索。本文介绍了CRITICBENCH,这是一种新的基准,旨在全面可靠地评估LLM的四个关键批评能力维度:反馈、比较、提炼和元反馈。CRITICBENCH包括九个不同的任务,每个任务都评估LLM在不同质量粒度水平上批评响应的能力。我们对开源和闭源LLM的广泛评估揭示了批判能力与任务、反应质量和模型规模之间的有趣关系。原创 2024-04-18 09:41:41 · 27 阅读 · 0 评论 -
TreeEval: Benchmark-Free Evaluation of Large Language Models through Tree Planning
最近,已经建立了许多新的基准,通过计算整体得分或使用另一个LLM作为评判来评估大型语言模型(LLM)的性能。然而,由于基准的开放访问和不灵活的评估过程,这些方法存在数据泄露的问题。为了解决这个问题,我们引入了TreeEval,这是一种LLM的无基准评估方法,它可以让高性能LLM主持不可复制的评估会话,并从根本上避免数据泄露。此外,该LLM作为审查员,以树规划策略在一个主题下提出一系列问题,考虑当前评估状态来决定下一个问题生成,并确保评估过程的完整性和效率。原创 2024-04-17 11:21:58 · 28 阅读 · 0 评论 -
RefuteBench: Evaluating Refuting Instruction-Following for Large Language Models
大型语言模型(LLM)的应用范围正在日益扩大。在实际使用中,用户可能会根据模型的输出提供反馈,希望有一个响应模型能够根据他们的反馈完成响应。该模型是否能够适当地回应用户的反驳反馈,并始终如一地执行,还没有得到彻底的分析。有鉴于此,本文提出了一个全面的基准RefuteBench,涵盖问答、机器翻译和电子邮件写作等任务。该评估旨在评估模型是否能够积极接受反驳指令形式的反馈,以及它们是否能够在整个对话中始终如一地遵守用户需求。我们对许多LLM进行了评估,发现LLM很顽固,即倾向于其内部知识,经常不遵守用户反馈。原创 2024-04-17 10:17:52 · 21 阅读 · 0 评论