OpenCompass大模型评测笔记和作业

最新推荐文章于 2024-07-22 16:12:37 发布

weixin_45720528

最新推荐文章于 2024-07-22 16:12:37 发布

阅读量401

点赞数 11

分类专栏：大语言模型文章标签：笔记

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_45720528/article/details/136209811

版权

大语言模型专栏收录该内容

8 篇文章 0 订阅

订阅专栏

书生·浦语大模型实战营笔记系列

6）OpenCompass大模型评测笔记和作业

前言

包括为什么、是什么、怎么做大模型评测以及大模型评测的一些国内外现状及opencompass

一、为什么需要大模型评测

在这里插入图片描述

二、评测什么

对于传统的NLP任务
在这里插入图片描述
对于大语言模型

三、如何评测

对于不同的模型评测构建不一样

比如对于基座模型和经过指令微调的对话模型
在这里插入图片描述

客观评测

在这里插入图片描述

主观评测

在这里插入图片描述

提示词工程

测试模型在提示词这方面的鲁棒性
在这里插入图片描述

四、国内外大模型评测状况

主流大模型评测框架

在这里插入图片描述

OpenCompass能力框架

在这里插入图片描述

OpenCompass评测平台

在这里插入图片描述

OpenCompass开源评测平台架构

在这里插入图片描述

丰富的模型支持

在这里插入图片描述

OpenCompass评测流水线设计

在这里插入图片描述

大模型能力对比

在这里插入图片描述

大模型前沿探索

多模态方面
在这里插入图片描述
法律领域方面

大模型评测领域的挑战

在这里插入图片描述

五、动手实战

源文档
 源视频

五、作业

在这里插入图片描述
不要在A100（1/4）*1上跑，会出现显存不够的情况，在A100（1/4）*2上跑
结果截图如下图所示

总结

介绍了如何用opencompass进行评测，拖延症患者呜呜呜，最后一天终于写完了，希望之后还有大作业产出可以把进阶作业也实践一下吧。

weixin_45720528

关注

11
点赞
踩
10

收藏

觉得还不错? 一键收藏
0
评论
OpenCompass大模型评测笔记和作业

包括为什么、是什么、怎么做大模型评测以及大模型评测的一些国内外现状及opencompass介绍了如何用opencompass进行评测，拖延症患者呜呜呜，最后一天终于写完了，希望之后还有大作业产出可以把进阶作业也实践一下吧。
复制链接

扫一扫

专栏目录

weixin_45720528 CSDN认证博客专家 CSDN认证企业博客

码龄5年

8: 原创

150万+: 周排名

17万+: 总排名

3374: 访问

: 等级

159: 积分

59: 粉丝

78: 获赞

4: 评论

74: 收藏

私信

关注

热门文章

分类专栏

大语言模型 8篇

最新评论

书生·浦语大模型实战营笔记系列
CSDN-Ada助手: 非常棒的博文！看到你对实战营的学习笔记，我感到非常兴奋。希望你可以继续分享你的学习心得，这将对其他读者也是一个很大的帮助。除了你在博文中提到的内容，我想分享一些关于InterLM模型的相关知识。InterLM是一个基于大规模预训练语言模型的开放式对话系统，它可以帮助用户进行更加智能的对话交流。如果你有兴趣，可以深入了解一下InterLM的原理和应用场景，这将对你的学习和实践有很大的帮助。期待看到你更多的精彩分享！如何写出更高质量的博客，请看该博主的分享：https://blog.csdn.net/lmy_520/article/details/128686434?utm_source=csdn_ai_ada_blog_reply2
书生·浦语大模型实战营笔记系列
CSDN-Ada助手: 恭喜您撰写了"书生·浦语大模型实战营笔记系列"的第三篇博客！您的持续创作真令人鼓舞。通过分享您在浦语大模型实战营中的笔记，您给读者提供了宝贵的学习资源。在这个系列中，您以深入浅出的方式传递了知识，使人们更容易理解复杂的概念。我非常期待您下一步的创作。或许，在未来的博客中，您可以尝试更多的实例和案例研究来帮助读者更好地应用浦语大模型。此外，您还可以考虑与其他领域的专家进行合作，以便提供更全面的观点和见解。当然，这只是一些建议，您可以根据自己的兴趣和读者需求进行选择。再次祝贺您，并期待您未来更多的博客作品！谢谢您的分享和努力！ CSDN 正在通过评论红包奖励优秀博客，请看红包流：https://bbs.csdn.net/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3
书生·浦语大模型实战营笔记
CSDN-Ada助手: 恭喜您开始博客创作！看到您的标题“书生·浦语大模型实战营笔记”，我感到非常兴奋。在您的博客中，您已经提到了浦语大模型实战营的笔记，这将为读者们提供宝贵的学习资源和经验分享。作为下一步的创作建议，我建议您可以进一步深入探索浦语大模型实战营的内容，分享更多实际操作和应用案例。此外，您还可以考虑加入一些个人观点和思考，以便与读者们进行更深层次的交流和讨论。谦虚地说，写博客是一个不断学习和成长的过程，我相信您会通过持续努力和积极反馈来不断提高自己的写作技巧。期待您未来更多精彩的博客文章！推荐【每天值得看】：https://bbs.csdn.net/forums/csdnnews?typeId=21804&utm_source=csdn_ai_ada_blog_reply1
书生·浦语大模型实战营笔记
CSDN-Ada助手: 恭喜你这篇博客进入【CSDN每天最佳新人】榜单，全部的排名请看 https://bbs.csdn.net/topics/618069057。

大家在看

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。