【课堂笔记】6_OpenCompass 大模型评测

最新推荐文章于 2024-10-06 21:18:37 发布
最新推荐文章于 2024-10-06 21:18:37 发布
阅读量427 收藏 8
点赞数 9
分类专栏： 书生·浦语大模型实战营 文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sxswz/article/details/135881867
版权
本文探讨了为何进行大语言模型评测，涉及模型选型、能力提升以及在真实场景中的效果评估。重点介绍了客观评测（如知识、推理等）、主观评测（如人机交互和基于模型的评测）和主流评价框架如opencompass能力框架。
摘要由CSDN通过智能技术生成

课程资料来源：书生·浦语大模型实战营

为什么需要评测?

  • 模型选型
  • 模型能力提升
  • 真实应用场景效果评测

我们需要测什么?

  • 知识、推理、语言
  • 长文本、智能体、多轮对话
  • 情感、认知、价值观

怎么样测试大语言模型?

  • 自动化客观评测(客观评测，有标准答案)
  • 人机交互评测(主观评测，没有标准答案)
  • 基于大模型的大模型评测(也是主观评测)
  • 提示词工程

主流评价框架
在这里插入图片描述

opencompass能力框架
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

sxswz
关注
专栏目录
小滴课堂笔记_Nginx_SSM_springcloud
12-03
SSM 课程笔记则可能包含 Spring、SpringMVC 和 Mybatis 的整合教程，讲解如何搭建和使用这三大框架；SpringCloud 笔记则涉及微服务架构的实践，包括服务注册与发现、API 网关、熔断机制等关键概念。 这些笔记资料...
课堂笔记_java_
10-01
简单性：因为Java是在C++的基础上进行优化的语言，它既保留了C++强大的开发功能，还剔除了一些程序员工作时比较少用的特征。面向对象：Java是一门面向对象的语言，它通过调用类来完成编写程序。...
【InternLM 实战营笔记】OpenCompass大模型评测
JeffDing
02-28 1157
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
第六课笔记：大模型评测教程
weixin_38482826的博客
02-21 490
一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。# 解压评测数据集到 data/ 处。
大模型在数据分析场景下的能力评测｜进阶篇
Kyligence
11-15 1496
在本轮评测中，我们从数据计算、数据洞察两个方面对大模型评测结果进行了归类，并提出不同方向的优化建议。如果您正在对大模型进行技术选型，或正在探索大模型在数据分析场景的应用落地与优化方案，欢迎与我们联系沟通。11月21日，Kyligence 将举办。
【书生·浦语大模型实战营】第6节：OpenCompass 大模型评测（笔记版）
zhenzhu2882的博客
02-20 530
【书生·浦语大模型实战营】第6节：OpenCompass 大模型评测（笔记版）
第七节课——OpenCompass 大模型评测实战（笔记+作业）
qq_42866802的博客
06-12 652
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
2024.1 书生·浦语大模型实战营 第 6 节 课堂笔记
godlikesun97的博客
02-21 413
了解不同模型在各类应用场景下的表现，并指导模型进行优化提升。
2024.1 书生·浦语大模型实战营 第 1 节 课堂笔记
godlikesun97的博客
01-06 529
2. 判断业务场景的复杂度。如果业务场景简单，可以采用prompt engineering的方式；如果业务场景复杂，则需要对模型本身进行调整。3. 在对模型进行微调前，需考虑算力，进而决定是采用全参数微调还是部分参数微调（如lora）。1. 模型选型：根据开源模型在各项任务中的表现，结合自身业务场景进行模型选型。4. 模型微调完成后，需考虑是直接使用模型，还是构建智能体解决更加复杂的问题。6. 模型部署，需考虑资源利用效率以及吞吐量。书生·浦语全链条开源开放体系。5. 模型的评测，上线。
书生·浦语大模型-OpenCompass
weixin_45222417的博客
04-24 783
ceval_infer_cfg需要修改 prompt，ceval_eval_cfg是评测方式的选择，如果是选择题，这里使用AccEvaluator。过程：在一个长文本中插入一个无关的问题和答案，比如下面的小明在哪里实习的问题。然后再问模型这个问题，如果能回答上来，说明具备比较好的长文本能力。在评测过程中，显存占用可能高达十几个 GB，因此 8GB 应该是不够用的。这里的 class 名和配置文件中的要一致。有评测流水线：任务切分，并行的跑评测任务。
【课堂笔记】1_书生浦语大模型全链路开源开放体系
sxswz的博客
01-09 439
课程资料来源：书生·浦语大模型实战营大模型成为了热门关键词，尤其是chatGPT发布两个月月活破亿AI的发展路线：从专用模型（特定任务->一个模型解决一个问题）->通用大模型（一个模型应对多种任务、多种模态）书生·浦语大模型系列：轻量级（7B）、中量级（20B）、重量级（123B）从模型到应用：智能客服、个人助手、行业应用模型到应用： 全链条开源开放体系：数据（书生万卷）、预训练（Intern-Train）、微调（XTuner）、部署（LMDeploy）、评测（OpenCompass）、应用（Lagent
Python课堂笔记_python_源码
10-02
这份"Python课堂笔记.pdf"应包含了以上提到的多个方面，详细讲解了Python的基础和进阶知识，对于深入理解Python编程和提升编程技能具有很大的帮助。通过阅读和实践，你可以逐步掌握Python编程的核心概念和技术，并为...
mybatis12月7号课堂笔记.zip_mybatis_ssm框架笔记
09-23
在学习过程中，这份"mybatis12月7号课堂笔记.docx"文档应该包含了关于SSM框架的详细讲解，包括MyBatis的配置文件、Mapper接口和XML映射文件的编写，以及Spring和Spring MVC的相关配置和注解使用。通过阅读和实践，你...
Python课堂笔记.rar_python_python 手写_神经网络_编程
07-15
python编程学习，手写数据结构和算法、手写神经网络项目。接触高深的底层知识、神经网络底层实现的知识
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
最新发布
haidizym的博客
10-06 437
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 941
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 846
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
【韩顺平Java笔记】第6章：数组、排序和查找
随手写写
10-02 840
排序是将多个数据，依指定的顺序进行排列的过程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值