OpenCompass 大模型评测（笔记&作业）

最新推荐文章于 2024-10-06 21:18:37 发布
最新推荐文章于 2024-10-06 21:18:37 发布
阅读量216 收藏
点赞数 2
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/littleheart88/article/details/136206816
版权
本文详细阐述了大模型评测技术的最新进展，包括评测手段，特别介绍了OpenCompass工具的简单操作与架构。以InternLM2-Chat-7B模型在C-Eval数据集上的性能评估为例，强调了评测过程中的时间消耗问题和结果文件生成.
摘要由CSDN通过智能技术生成

        本节课程重点介绍了大模型评测技术的发展情况以及具体的评测方法，以及对OpenCompass工具的功能和架构的介绍，工具的使用非常简单，就是评测过程较为耗时。

        作业情况：

         InternLM2-Chat-7B 模型在 C-Eval 数据集上性能评测：        

        结果文件生成：

littleheart88
关注
OpenCompass 大模型评测 【课程笔记 & 作业 #6】
weixin_44202873的博客
02-20 491
分两种评测方式：客观和主观。
OpenCompass大模型评测笔记和作业
weixin_45720528的博客
02-21 443
包括为什么、是什么、怎么做大模型评测以及大模型评测的一些国内外现状及opencompass介绍了如何用opencompass进行评测，拖延症患者呜呜呜，最后一天终于写完了，希望之后还有大作业产出可以把进阶作业也实践一下吧。
OpenCompass 大模型评测实战——笔记
YYYYbhjbhkv_的博客
04-24 1246
海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。
第七课 OpenCompass 大模型评测实战 笔记及作业
wudiyjnewway的博客
06-14 960
OpenCompass 大模型评测实战 笔记及作业
OpenCompass司南大模型评测体系-书生·浦语大模型第二期实战营第七课笔记&作业
2301_76739570的博客
04-20 1012
大模型评测，OpenCompass，司南，大模型榜单，评测
OpenCompass 大模型评测笔记
qq_45607888的博客
01-23 456
github文档地址：https://github.com/InternLM/tutorial/blob/main/opencompass/opencompass_tutorial.md。视频地址：https://www.bilibili.com/video/BV1Gg4y1U7uc/换提示词若模型答错，则说明模型鲁棒性较差。也可以自定义数据集进行测试。
【OpenCompass 大模型评测——笔记】
YYYYbhjbhkv_的博客
01-26 2653
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
书生浦语训练营2期-第七节课—OpenCompass大模型评测笔记及作业
m0_55303420的博客
04-20 671
客观评测：反映模型在一些性能数据上的指标主观评测：反映模型在与人类对话时的表现数据污染 是指本应用在下游测试任务重的数据出现在了大语言模型 (LLM) 的训练数据中，从而导致在下游任务 (例如，摘要、自然语言推理、文本分类) 上指标虚高，无法反映模型真实泛化能力的现象。由于数据污染的源头是出现在 LLM 所用的训练数据中，因此最直接的检测数据污染的方法就是将测试数据与训练数据进行碰撞，然后汇报两者之间有多少语料是重叠出现的。
OpenCompass 大模型评测实战笔记
m0_65989999的博客
04-24 284
它从语言、知识、理解、推理、安全等多个能力维度进行评测，并采用客观评测与主观评测相结合的方法。该评测体系的主要特点包括开源可复现、全面的能力维度评估、丰富的模型支持、分布式高效评测、多样化的评测范式和灵活的拓展性。此外，OpenCompass提供了丰富的工具层支持，包括分布式评测技术、提示词工程、评测数据库对接、评测榜单发布和评测报告生成等功能。总的来说，OpenCompass是一个功能全面、使用灵活的大模型评测工具，对于研究人员和产品开发者来说，它提供了一个有效的平台来评估和选择适合的大型语言模型。
【第7节】OpenCompass 大模型评测实战
熊猫小妖的AI世界
04-24 894
上海人工智能实验室科学家团队正式发布了大模型开源开放评测体系 “司南” (OpenCompass2.0)，用于为大语言模型、多模态模型等提供一站式评测服务。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 70+ 个数据集约 40 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测。
【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 1085
本篇笔记内容主要为【 书生·浦语大模型实战营】学习笔记（七）：大模型评测实战 ，主要对OpenCompass 大模型评测部分详细介绍，欢迎大家交流学习！
【 书生·浦语大模型实战营】作业（七）：大模型实战评测
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-03 494
导读：本篇笔记内容主要为 【书生·浦语大模型实战营】作业（七）：大模型实战评测的作业 主要对OpenCompass大模型实战评测部分及流程详细介绍，欢迎大家交流学习！
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1727
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
【第1节】书生·浦语大模型全链路开源开放体系
熊猫小妖的AI世界
04-17 1446
书生·浦语 InternLM介绍InternLM 是在过万亿 token 数据上训练的多语千亿参数基座模型。通过多阶段的渐进式训练，InternLM 基座模型具有较高的知识水平，在中英文阅读理解、推理任务等需要较强思维能力的场景下性能优秀，在多种面向人类设计的综合性考试中表现突出。在此基础上，通过高质量的人类标注对话数据结合 RLHF 等技术，使得 InternLM 可以在与人类对话时响应复杂指令，并且表现出符合人类道德与价值观的回复。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）–书生基础岛第5关---XTuner 微调个人小助手认知
最新发布
haidizym的博客
10-06 257
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1tz421B72y/课程文档：关卡作业：https://github.com/InternLM/Tutorial/blob/camp3/docs/L1/XTuner/task.md开发机平台：https://studio.intern-ai.org.cn/
C++学习笔记----8、掌握类与对象（四）---- 不同类型的数据成员（1）
weixin_71738303的博客
10-05 859
c++对于数据成员给了你许多选项。除了在类中声明简单的数据成员，可以生成静态数据成员供所有类的对象共享，const成员，引用成员，reference-to-const成员，等等。本节我们解释一下这些不同类型的数据成员的细节。
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 482
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
强化学习笔记之【DDPG算法】
rvdgdsva的博客
10-06 549
强化学习第2篇.强化学习方向的学习者可以参考或者复刻
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值