如何评估大型语言模型（LLM）？

最新推荐文章于 2024-10-31 17:05:07 发布
最新推荐文章于 2024-10-31 17:05:07 发布
阅读量1.2k 收藏 8
点赞数 39
文章标签： 语言模型 人工智能 自然语言处理 大模型 LLM langchain python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/pythonhy/article/details/138962850
版权

01 简介 Introduction

随着ChatGPT和其他大型语言模型（LLMs）的发布，可用模型数量大量增加，现在几乎每天都有新的LLMs发布。尽管如此，当下仍然没有一个通用的标准来评估这些大型语言模型的质量。本文将回顾现有的大型语言模型（LLMs）和基于LLMs的体系化评估框架。此外，我们还将尝试分析LLMs哪些因素应该受到评估。

图片

Source: Cobus Greyling

02 为什么急需一个全面的LLMs评估框架？

在某项技术发展的早期阶段，大家很容易确定哪些地方需要改进。然而，随着技术进步和各种新的替代方案出现，我们越来越难确定哪种方案选择最好。因此，拥有一个可靠的评估框架来准确评判LLMs的质量变得非常重要。

对于LLMs，当下迫切需要一个真正的评估框架。这种框架可用于以下三种方式评估LLMs：

  • 能够帮助管理机构和其他相关机构评估模型的安全性、准确性、可靠性或可用性问题。
  • 目前，这些大型科技公司似乎在盲目地争先恐后发布LLMs，许多公司只是在其产品上附加免责声明来试图撇清责任。因此制定一个全面的评估框架将有助于这些公司更负责任地发布这些模型。
  • 如果拥有一个全面的评估框架，能够帮助这些LLMs的用户确定在哪里以及如何微调这些大模型，并使他们清楚应该使用哪些额外的数据来完成部署。

在接下来的内容中，我们将会回顾当前的模型评估模式。

03 现有的LLMs评估框架有哪些？

评估大语言模型来确定它们在各种应用中的质量和实用性是比较重要的。市面上已经存在多个评估LLMs的框架，但是没有一个框架足够全面，可以覆盖所有自然语言处理任务。让我们看一下这些现有的主流评估框架。

框架名称评估时考虑的因素框架链接
Big Bench泛化能力github.com/google/BIG-…
GLUE Benchmark语法、释义、文本相似度、推理、文本关联性、解决代词引用问题的能力gluebenchmark.com/
SuperGLUE Benchmark自然语言理解、推理，理解训练数据之外的复杂句子，连贯和规范的自然语言生成，与人对话，常识推理（日常场景、社会规范和惯例），信息检索，阅读理解super.gluebenchmark.com/
OpenAI Moderation API过滤有害或不安全的内容platform.openai.com/docs/api-re…
MMLU跨各种任务和领域的语言理解github.com/hendrycks/t…
EleutherAI LM Eval在最小程度的微调情况下，使用小样本进行评估，并能够在多种任务发挥性能的能力。github.com/EleutherAI/…
OpenAI Evalsgithub.com/EleutherAI/… 文本生成的准确性，多样性，一致性，鲁棒性，可转移性，效率，公平性github.com/openai/eval…
Adversarial NLI (ANLI)鲁棒性，泛化性，对推理的连贯性解释，在类似示例中推理的一致性，资源使用方面的效率（内存使用、推理时间和训练时间）github.com/facebookres…
LIT (Language Interpretability Tool)以用户定义的指标进行评估的平台。了解其优势、劣势和潜在的偏见pair-code.github.io/lit/
ParlAI准确率，F1分数，困惑度（模型在预测序列中下一个单词的表现），按相关性，流畅性和连贯性等标准进行人工评估，速度和资源利用率，鲁棒性（评估模型在不同条件下的表现，如噪声输入、对抗攻击或不同水平的数据质量），泛化性github.com/facebookres…
CoQA理解文本段落并回答出现在对话中的一系列相互关联的问题。stanfordnlp.github.io/coqa/
LAMBADA预测一段文本的最后一个词。zenodo.org/record/2630…
HellaSwag推理能力rowanzellers.com/hellaswag/
LogiQA逻辑推理能力github.com/lgw863/Logi…
MultiNLI了解不同体裁的句子之间的关系cims.nyu.edu/~sbowman/mu…
SQUAD阅读理解任务rajpurkar.github.io/SQuAD-explo…

04 现有评估框架存在的问题

上述评估大型语言模型的方法各有其优势。然而，有几个重要因素使得以上这些方法似乎都并不足够完善：

  1. 以上任何一个框架都没有将安全性作为评估因素考虑在内。尽管“OpenAI Moderation API”在某种程度上涉及这个问题，但这并不足够。
  2. 上述框架在评估模型因素方面是分散的。它们中没有一个因素是足够全面综合的。

在下一节中，我们将尝试列出所有应该在一个综合的评估框架中存在的重要因素。

05 在评估LLMs时应考虑哪些因素？

经过审查现有的大模型评估框架存在的问题之后，下一步是确定在评估大型语言模型（LLMs）的质量时应考虑哪些因素。我们听取12名数据科学专业人员的意见，这12名专家对LLMs的工作原理和工作能力有一定的了解，并且他们曾经尝试过测试多个LLMs。该调查旨在根据他们的理解列出所有重要因素，并在此基础之上评估LLMs的质量。

最终，我们发现有几个关键因素应该被考虑：

1. 真实性

LLMs生成的结果准确性至关重要。包括事实的正确性以及推理和解决方案的准确性。

2. 速度

模型产生结果的速度很重要，特别是当大模型需要部署到关键功能（critical use cases）时。虽然在某些情况下速度较慢的大模型可能可以可接受，但这些rapid action团队需要速度更快的模型。

3. 正确的语法和可读性

LLMs必须以具备可读性的格式生成自然语言。确保正确、合适的语法和句子结构至关重要。

4. 没有偏见

LLMs必须不受与性别、种族和其他因素相关的社会偏见影响。

5. 回溯回答的参考来源

了解模型回答的来源对于我们来说是十分必要的，以便我们可以重复检查其 basis。如果没有这个，LLMs的性能将始终是一个黑匣子。

6. 安全和责任

AI模型的安全保障是必要的。尽管大多数公司正在努力使这些大模型安全，但仍然有显着的改进空间。

7. 理解上下文

当人类向AI聊天机器人咨询有关个人生活的建议时，重要的是该模型需要基于特定的条件提供更好的解决方案。在不同的上下文中提出同样的问题可能会有不同的答案。

8. 文本操作

LLMs需要能够执行基本的文本操作，如文本分类、翻译、摘要等。

9. 智商

智商是用来评判人类智力的一项指标，也可以应用于机器。

10. 情商

情商是人类智力的另一方面，也可应用于LLMs。具有更高情商的模型将更安全地被使用。

11. 具备多功能

模型可以涵盖的领域和语言数量是另一个重要因素，可以用于将模型分类为通用AI或特定领域的AI。

12. 实时更新

一个能够实时进行信息更新的模型可以做出更大范围的贡献，产生更好的结果。

13. 成本

开发和运维成本也应该考虑在内。

14. 一致性

相同或类似的提示应该产生相同或几乎相同的响应，否则确保部署于商业环境的质量将会很困难。

15. 提示工程的需要程度

需要使用多少详细和结构化的提示工程才能获得最佳响应，也可以用来比较两个模型。

06 总结

大型语言模型（LLMs）的发展彻底改变了自然语言处理领域。然而，当下仍需一个全面性的和标准化的评估框架来评估这些模型的质量。现有的框架提供了有价值的参考，但它们缺乏全面性和标准化，并且没有将安全作为评估因素。

可靠的评估框架应该考虑诸如真实性、速度、正确的语法和可读性、没有偏见、回溯回答的参考来源、安全和责任、理解上下文、文本操作、智商、情商、具备多功能和实时更新等因素。 开发这样的框架将帮助这些公司更负责任地发布LLMs，并能够确保其质量、可用性和安全性。与相关机构和专家合作，建立一个真实和全面的LLMs评估框架是十分有必要的。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

Llama-Turbo
关注
如何评估大型语言模型
YeJuliaLi的博客
09-12 804
01 对大型语言模型（LLM）的主客观评估在评估大型语言模型时，我们可以进行客观评估和主观评估。主观评估的方法是用户亲自尝试不同的模型，提出一些问题，然后根据自己的感受来判断哪个模型好，哪个模型不好。这种评价方法简单直接，但是它很难达到客观、可解释和可量化的程度。如果需要进行更深入的测试，或者在技术选型和产品开发的前提下选择大型语言模型，那么仅依靠主观评估是不够的，我们还需要一些相对客观的方法。例...
大语言模型的评估：综述
yorkhunter的博客
05-23 1047
23年8月来自吉林大学、微软、中科院自动化所、CMU、西湖大学、北大、UIC和香港科技大学等的综述论文“A Survey on Evaluation of Large Language Models“。
大语言模型评测：我们知道什么时候该相信模型吗？
人机与认知实验室
04-14 1302
在机器学习领域，大模型的概念越来越受到关注。它们可以用于语言生成、图像识别、自然语言处理等众多应用中。然而，大模型的训练和评测也变得越来越复杂和昂贵。首先，我们需要足够的计算资源。大模型需要更多的计算资源来进行训练。我们需要足够的硬件和软件资源来支持这些计算需求。其次，我们需要更好的算法和模型架构。大模型的训练需要更高效的算法和更好的模型架构。我们需要尽可能地减少训练时间和计算成本，同时保持模型的...
什么是大型语言模型（LLM）？
Hyatt的博客
03-15 1228
大型语言模型 (LLM) 是一种人工智能 (AI)人工智能 (AI)人工智能 (AI)程序，它可以识别和生成文本以及完成其他任务。LLM 经过了庞大的数据集庞大的数据集庞大的数据集的训练，因此称之为“大型”。LLM 在机器学习机器学习机器学习的基础上构建：具体来说，它是一种称为 Transformer 模型的神经网络神经网络神经网络。简单地说，LLM 是一个计算机程序，已经为它提供了足够多的示例，使它能够识别和解释人类语言或其他类型的复杂数据。
大型语言模型 LLM：2023 年完整指南.pdf
04-12
### 大型语言模型 LLM：2023 年完整指南 #### 一、大型语言模型概述 大型语言模型（Large Language Models, LLMs）是近年来在自然语言处理领域取得突破性进展的重要成果之一。这类模型通过深度学习技术，在海量...
大型语言模型 (LLM)全解读.pdf
01-30
大型语言模型（LLM）是深度学习领域的重要组成部分，专门设计用于处理自然语言处理（NLP）任务。这些模型基于深度神经网络，尤其是转换器架构，能够理解和生成文本，涵盖了从简单的语言识别到复杂的语义理解等多个...
使用MATLAB的大型语言模型（LLM）Large Language Models (LLMs) with MATLAB
07-27
使用MATLAB的大型语言模型（LLM） 将MATLAB连接到Ollama（用于本地LLM）、OpenAI聊天完成API（支持ChatGPT）和AzureOpenAI服务 使用MATLAB的大型语言模型（LLM） 在MATLAB中打开文件交换上的MATLAB在线查看大型...
使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码
08-10
关于使用Huggingface、PEFT和LoRA训练大型语言模型（LLM）的demo代码,其中包含了几个脚本和设置： 1. `setup_lambdalabs.py`脚本：用于设置大部分所需的配置，适用于使用lambdalabs平台的用户。你需要创建一个名为`...
最全的开源 LLM （大语言模型）整理.zip
09-04
3. **最全的开源LLM（大语言模型）**: 这个资源集合了多种开源的大型语言模型，包括但不限于GPT系列、BERT、T5、XLM等，这些模型在规模、性能和多样性上都有显著的特点。 【详细知识点】: 1. **GPT系列**：由Open...
大规模语言模型从理论到实践 评估方法
AI天才研究院
05-15 909
大规模语言模型从理论到实践 评估方法 作者：禅与计算机程序设计艺术 1. 背景介绍 1.1 大规模语言模型的兴起 近年来，随着计算能力的提升和数据量的爆炸式增长，大规模语言模型（LLM）逐渐成为人工智能领域的研究热点
大语言模型评估全解：评估流程、评估方法及常见问题
Baihai_IDP的博客
07-17 4169
随着对大语言模型（LLM）评估领域的深入研究，我们更加清楚地认识到全面理解评估过程中的问题对于有效评估LLM至关重要。 本文探讨了机器学习模型评估中出现的常见问题，并深入研究了LLM对模型评估领域带来的重大挑战。在评估方法方面，我们将其划分为直接评估指标、基于辅助模型的评估和基于模型的评估。本文还强调了审慎观察复杂评估指标和注意细节的重要性。 以下是译文，Enjoy!
大语言模型(LLM)综述(六)：大型语言模型的基准和评估
qq_51957239的博客
11-07 3719
为了检验LLM的有效性和优越性，已经提出了大量任务和基准，用于进行经验能力评估和分析。在本节中，我们首先介绍了LLM在语言生成和理解方面的三种基本能力评估类型，然后介绍了几种具有更复杂设置或目标的LLM的高级能力评估，最后讨论了现有的基准、评估方法和经验分析。
探讨Facebook的AI研究：未来社交平台的技术前瞻
LokiSan的博客
10-29 769
在数字时代，社交媒体已成为人们日常生活的重要组成部分。作为全球最大的社交网络之一，Facebook不断致力于人工智能（AI）的研究与应用，以提升用户体验、增强平台功能并推动技术创新。本文将探讨Facebook在AI领域的研究方向及其对未来社交平台的潜在影响。
深度学习：卷积神经网络中的im2col
最新发布
m0_49786943的博客
10-31 612
第二行为 2，3，4，6，7，8，10，11，12，18，19，20，22，23，24，26，27，28，34，35，36，38，39，40，42，43，44 即第二次卷积运算所涉及到的输入数据。第一行为 1，2，3，5，6，7，9，10，11，17，18，19，21，22，23，25，26，27，33，34，35，37，38，39，41，42，43 即第一次卷积运算所涉及到的输入数据。在传统的卷积操作中，卷积核（滤波器）在输入图像上滑动，逐个计算每个位置的卷积结果。若是批大小为10，即保存10倍的数据。
数据预处理：为 AI 准备 “优质食材” 的重要步骤
JiexianYao的博客
10-31 377
AI模型数据处理
人工智能—机器学习-图像处理
中段丸家
10-31 561
使用深度学习算法来分析医学影像（如X光、CT扫描、MRI），帮助医生更快、更准确地做出诊断。：图像处理技术在自动驾驶汽车中至关重要，用于识别路标、行人和其他车辆。：通过机器学习分析监控视频，实时检测异常行为或可疑活动，提高安全性。：在身份验证和安防领域广泛应用，尤其在金融服务和个人设备解锁中。：利用图像处理技术提升用户体验，实现更沉浸的互动环境。
基于Keras的U-Net模型在图像分割与计数中的应用
10-31 1741
网络结构优化：项目基于经典的U-Net模型进行改进，采用了更深的网络层次结构，使模型能够在多尺度上捕捉到图像中的细节信息。特别是针对医学图像分割，项目通过增加卷积层数和引入Dropout层来增强模型的特征提取能力，并有效防止过拟合，从而提高模型在训练数据较少情况下的表现。项目中采用了he_normal初始化器和relu激活函数组合，使得网络在训练时能够更快地收敛，降低梯度消失的风险。自定义数据增强策略：在中实现了一个自定义的图像增强类。
揭秘大型语言模型(LLM)：架构、训练与应用
大型语言模型（LLM）全解读 大型语言模型是一种先进的深度学习技术，它在自然语言处理（NLP）领域展现出了卓越的能力。这些模型的核心是基于多层转换器架构，这些转换器由神经网络构成，模仿人脑的思维方式，尤其是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值