InternLM大模型实战-6.OpenCompass大模型评测

最新推荐文章于 2024-06-18 18:11:36 发布
最新推荐文章于 2024-06-18 18:11:36 发布
阅读量222 收藏 1
点赞数 4
分类专栏： InternLM大模型实战 文章标签： 语言模型 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/raw_inputhello/article/details/136104274
版权

文章目录

前言

本文是对于InternLM全链路开源体系系列课程的学习笔记。【OpenCompass 大模型评测】 https://www.bilibili.com/video/BV1Gg4y1U7uc/?share_source=copy_web&vd_source=99d9a9488d6d14ace3c7925a3e19793e

笔记正文

关于模型评测的三个问题

为什么需要评测

对于这么多的模型，需要标准去进行比较，这样才有利于普通用户、开发者、管理机构、产业界的使用。

我们需要测什么

对于大语言模型，需要评测的东西很多，如知识语言推理、长文本生成等。

怎么测试大语言模型

分为基座模型和对话模型、分为客观评测和主观评测、提示词工程。

主流大模型评测框架

在这里插入图片描述

OpenCompass

而OpenCompass是一个比较全面系统的评测框架，受到meta的推荐，也是meta推荐的唯一一个国内评测框架
在这里插入图片描述
并且支持很多模型和很好的评测流水线设计。

同时除了上面的评测，也在进行前沿探索，如多模态领域和法律等

大模型评测领域的挑战

  • 缺少高质量的中文评测集
  • 难以准确提取答案
  • 能力唯独不足
  • 测试集混入训练集
  • 测试标准各异
  • 人工测试成本高昂

作业后面写

早上真好
关注
  • 4
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
InternLM-XComposer.tar.7z.005
10-11
InternLM-XComposer.tar.7z.005
[InternLM训练营第二期笔记]7. OpenCompass 大模型评测实战
wjpwjpwjp0831的博客
04-25 306
该系列是上海AI Lab举行的书生 浦语大模型训练营的相关笔记部分。该笔记是第七节课，学习大语言模型评测的基本概念，以及评测系统OpenCompass的使用。
LLMs之InternLM：InternLM-7B模型的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-13 7351
​ LLMs之InternLM：InternLM/InternLM-7B模型的简介、安装、使用方法之详细攻略 目录 InternLM模型的简介 InternLM-7B模型的安装 InternLM模型的高性能部署 InternLM-7B模型的使用方法 InternLM模型的简介 2023年6月7日，上海人工智能实验室（上海AI实验室）、商汤科技联合香港中文大学、复旦大学及上海交通大学发布千亿级参数大语言模型“书生·浦语”（InternLM）。“书
书生·浦语大模型实战营：6.OpenCompass大模型评测
weixin_44288092的博客
01-22 883
模型层：大模型评测所涉及的主要模型种类，OpenCompass以基座模型和对话模型作为重点评测对象。能力层：OpenCompass从本方案从通用能力和特色能力两个方面来进行评测维度设计。在模型通用能力方面，从语言、知识、理解、推理、安全等多个能力维度进行评测。在特色能力方面，从长文本、代码、工具、知识增强等维度进行评测。方法层：OpenCompass采用客观评测与主观评测两种评测方式。
OpenCompass---大模型的评测
weixin_46873533的博客
04-24 811
详细的客观评测指引参见支持新数据集 — OpenCompass 0.2.4 文档由于客观评测只能反映模型在一些性能数据上的指标，没法完全真实地反映模型在与人类对话时的表现，因此需要在真实的对话场景下通过主观评测的方式翻译模型的真实性能。而由于完全靠人力来进行主观评测是费时费力的，因此有很多利用模型来进行主观评测的方式。这些方式主要可以分为以下几类：打分，对战，多模型评测等。
InternLM-XComposer.zip
02-06
InternLM-XComposer.zip
第五期《MindFormers套件之大模型》
10-18
【MindFormers大模型使能套件】是华为推出的一款专为大模型开发与应用而设计的工具包，旨在简化大模型的构建、训练、微调和推理过程。该套件提供了一系列高阶接口和功能，使开发者能够更加高效地进行大模型的实践...
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2
02-06
OpenCompass是一个法学硕士评估平台，支持超过100多个数据集的广泛模型(InternLM2,GPT-4,LLaMa2, Qwen,GLM, Claude等)
书生·浦语2.0(InternLM2)大模型实战--Day06 OpenCompass | 评测 internlm2-chat-1_8b 模型在 C-Eval 数据集上的性能
sinat_29950703的博客
04-30 482
列出所有跟 InternLM 及 C-Eval 相关的配置。执行了以下3种方法，才成功启动评测。
书生·浦语大模型实战营-使用 OpenCompass 评测 InternLM2-Chat-7B 模型在 C-Eval 数据集上的性能
weixin_73902638的博客
02-20 1252
-tokenizer-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace tokenizer 路径（如果与模型路径相同，可以省略）--hf-path /share/temp/model_repos/internlm-chat-7b/ \ # HuggingFace 模型路径。--max-seq-len 2048 \ # 模型可以接受的最大序列长度。--max-out-len 16 \ # 生成的最大 token 数。
【InternLM 实战营笔记】使用 OpenCompass 评测 InternLM2-Chat-7B 模型使用 LMDeploy 0.2.0 部署后在 C-Eval 数据集上的性能
JeffDing
03-01 550
拉取环境激活环境下载模型安装转换internLM2-Chat-7B为将模型转为 lmdeploy TurboMind 的格式启动 TurboMind推理+API服务。
InternLM大模型实战-1.书生浦语大模型全链路开源体系
raw_inputhello的博客
02-09 859
本系列文章是参与书生浦语全链路开源体系学习的笔记文章。B站视频教程地址：# 笔记正文## 大模型成为热门关键词LLM受到高关注，因为大模型成为发展通用人工只能的重要途经。专用模型：针对特定任务，一个模型解决一个问题。通用大模型：一个模型应对多种任务、多种模态。书生·浦语全链路开源体系是一个全面、多元化的项目，涵盖了从数据、预训练到微调、部署等多个环节。
多目标跟踪 (MOT) 算法简介
最新发布
weixin_41446370的博客
06-18 239
多目标跟踪 (MOT) 是一项计算机视觉任务，旨在识别和跟踪视频序列中的多个目标。与单目标跟踪不同，MOT 需处理多个目标的相互遮挡、消失和重新出现等复杂情况。
从GAN到WGAN（02/2）
gongdiwudu的专栏
06-14 1113
生成对抗网络 （GAN） 在许多生成任务中显示出巨大的效果，以复制现实世界的丰富内容，如图像、人类语言和音乐。它的灵感来自博弈论：两个模型，一个生成器和一个批评家，在相互竞争的同时使彼此更强大。然而，训练GAN模型是相当具有挑战性的，因为人们面临着训练不稳定或收敛失败等问题。在这里，我想解释一下生成对抗网络框架背后的数学原理，为什么很难训练，最后介绍一个旨在解决训练难点的GAN修改版本。
景芯SoC A72的时钟树分析
u011075954的专栏
06-13 698
innovus的ctslog中的Clock DAG信息可以报出来CTS主要运行步骤的关键信息，比如clustering，balancing做完后的clock tree的长度，clock tree上所用的buffer、inverter，icg cell数量，clock skew等信息。可以看到cell、sink的counts，也可以看到BUF、ICG的数量，接下来我们来看看景芯SoC A72 TOP的CLOCK ID和BUF个数的变化吧。先看下景芯SoC A72项目的cts latency变化过程。
人脸识别系统---人脸对比
2303_77278243的博客
06-14 645
def select_image(): #定义选择图片的函数#指明label_var不是一个局部变量也不是全局变量，而是外部函数s1的参数。这样，select_image函数就可以修改s1函数的参数#弹出选择文件的对话框，以及被选择文件的类型file_path = filedialog.askopenfilename(title="选择图片",filetypes=(("图片文件", "*.png;*.jpg;*.jpeg;*.bmp"),("所有文件", "*.*")))#如果选择了文件。
大模型基础——从零实现一个Transformer(5)
fan_fan_feng的专栏
06-18 115
上一篇文章已经把Encoder模块和Decoder模块都已经实现了，接下来来实现完整的Transformer。
yolov10主要特点
yzf060109的专栏
06-14 773
以下是YOLOv10与其他模型的快速对比：YOLOv10-S：46.3 AP，2.49毫秒延迟YOLOv10-M：51.1 AP，4.74毫秒延迟YOLOv10-L：53.2 AP，7.28毫秒延迟YOLOv10-X：54.4 AP，10.70毫秒延迟这些改进使YOLOv10成为实时目标检测任务的首选，从自动驾驶到智能监控。与YOLOv9-C相比，YOLOv10-B（一个平衡的变体）延迟减少了46%，参数量减少了25%，同时保持了相同的性能水平。一对多分配：在训练过程中使用，以提供丰富的监督信号。
清华 通义 百川 开源大模型
12-06
清华大学自然语言处理与社会人文计算实验室最近开源了三个大型预训练语言模型，分别是通用领域的Qwen-7B、InternLM-7B和教育垂直领域的Baichuan-13B。这些模型可以用于各种自然语言处理任务，如文本分类、命名实体...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

早上真好

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值