第六课OpenCompass 大模型评测笔记

已于 2024-01-22 22:40:31 修改
阅读量390 收藏 8
点赞数 8
文章标签： python
于 2024-01-22 22:34:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_52410386/article/details/135759909
版权
本文探讨了在大模型盛行的时代，基座模型和经过微调的模型的区别，强调了全面且兼容多数据集的评测框架的重要性。同时，文章也提到了当前面临的挑战。
摘要由CSDN通过智能技术生成

视频：https://www.bilibili.com/video/BV1Gg4y1U7uc/

对基座模型和微调后的模型是不同的

在大模型时代还是非常重要的

主流大模型评测框架

更加全面系统评测框架

全面，方便用户的设计，以及多个数据集的兼容

最终得到的结果

依然存在的挑战

l l l l l
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多模态学习实战手册：读懂CompassRank榜单的评测指标！
zengzizi的博客
04-03 1774
CompassRank 是一个中立且全面的性能榜单，作为大模型评测体系 OpenCompass2.0 中各类榜单的承载平台。它覆盖多领域、多任务下的模型性能，并定期更新，以提供动态的行业洞察。CompassRank 保持中立性，不受任何商业利益干扰，并依托于 CompassKit 工具链体系中的各类评测手段，确保了其客观性。这个平台旨在帮助从业者理解技术深意，优化模型选择，并对大模型的技术创新提供坚实的技术支撑编辑。
第六节课 OpenCompass 大模型评测（笔记）
2301_80618119的博客
01-20 846
Meta官方推荐，唯一由国内开发的大模型评测体系，其他三个分别是HuggingFace、Stanford和Google退出的测评体系。OpenCompass会将评测请求切分为多个独立执行的任务，从而最大化利用计算资源。建立在公平的、全面的统一框架下。可以知道模型的能力边界。
[第六课笔记]OpenCompass 大模型评测
weixin_38771145的博客
02-21 1212
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
第六课笔记 OpenCompass 大模型评测
weixin_42035282的博客
02-20 1037
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
第六课 OpenCompass 大模型评测
lishijie258的博客
01-23 417
第6节课笔记(16班) ：https://github.com/InternLM/tutorial/discussions/451。第6节课作业(16班)：https://github.com/InternLM/tutorial/discussions/450。
OpenCompass大模型评测实战 第七课
weixin_62638966的博客
06-16 828
1、OpenCompass 亮点开源与复现：提供公平、公开、可复现的评测方案。全面的能力维度：五大维度设计，提供70+个数据集约40万题的模型评测方案。模型支持：已支持20+ HuggingFace 及 API 模型。分布式高效评测：一行命令实现任务分割和分布式评测，快速完成模型全量评测。多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板。灵活化拓展：轻松增加新模型、数据集或自定义高级任务分割策略。2、CompassKit：大模型评测全栈工具链。
【OpenCompass 大模型评测——笔记】
YYYYbhjbhkv_的博客
01-26 2473
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
《书生·浦语大模型全链路开源开放体系》笔记第六课 OpenCompass 大模型评测
m0_65719612的博客
01-21 1095
本算法库的主要评测对象为语言大模型与多模态大模型。我们以语言大模型为例介绍评测的具体模型类型。基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。
书生浦语大模型实战课 第二课笔记
03-31
书生浦语大模型实战课 第二课笔记
大模型入门学习笔记.zip
09-16
大模型入门学习笔记.zip 大模型入门学习（主要基于DataWhale组织的学习任务） ## Task 01 梳理了语言模型的进化史。 ## Task 02 这一节主要是讲述大模型的能力，通过一些任务来探索，这里我整理了prompt的范式，...
Python LoRA 大模型轻量级微调笔记.md
08-17
本文首先介绍了LoRA大模型轻量级微调的思想,然后给出了使用Python中的transformers库实现文本分类、语义理解等自然语言处理任务的示例代码,最后讨论了LoRA大模型轻量级微调在NLP领域的典型应用,如文本分类、语义理解...
大模型ResNet学习笔记.md
08-21
能学到什么： 阅读本文后，读者将了解到ResNet的核心思想、残差块的概念、深度网络训练的优势以及如何在PyTorch中实现ResNet模型。读者还可以了解到ResNet在图像分类和物体检测等应用领域的使用。 阅读建议： 鉴于...
大模型学习笔记：汇总-国内13家大模型和体验地址
09-20
大模型学习笔记：汇总-国内13家大模型和体验地址
一键安装ros及出现问题的解决方案
最新发布
m0_58173801的博客
07-10 477
catkin_make时出现报错如下。
java占位符替换五种方式
weixin_61478518的博客
07-08 437
在业务开发中，经常需要输出文本串。其中，部分场景下大部分文本内容是一样的，只有少部分点是不一样。简单做法是直接拼接字段，但是这会有个问题。后面如果想要修改内容，那么每个地方都要修改，这不符合设计模式中的开闭原则，面向应该对扩展开放，对修改关闭。如何解决这个问题？先来看现实生活中的例子，个人信息填写。一般会要填写表格，已经定义好了姓名，性别，年龄等字段，只要填写对应的个人信息就好了。在程序开发中，我们会预先定义好一个字符串模板，需要改动的点使用占位符。
制作爬取4399游戏名称软件
fasdaegaw的博客
07-06 367
请求头={'User-Agent':'Mozilla/5.0 (Windows NT 10.0;网站源代码=requests.get(url=链接,headers=请求头).text #发送请求并且拿到网站源代码。class属性的结果=初始化.find(class_="tm_list") #class是关键字。li标签内容=class属性的结果.find_all('li') #list。链接='https://www.4399.com/' #网站链接。#发送请求并且拿到源代码。
python拆分Excel数据，自动发邮箱
cc605523的博客
07-06 699
message['To'] = ",".join(recipient_email) # 收件人（可以添加多个，若只有一个收件人，可直接写邮箱号）"采购部": ['young@realstarie.com', "865193996@qq.com"], # 可以添加多个收件人。# split_Excel("年假情况.xlsx", "年假_按部门汇总")department_df = df[df["部门"] == dept]depts = ["采购部", "船务部"]
守望数据边界：sklearn中的离群点检测技术
2401_85742452的博客
07-08 672
本文的目的是帮助读者更好地理解离群点检测，并掌握在sklearn中实现这些技术的方法。通过本文，我们了解到了sklearn中不同的离群点检测技术，并提供了实际的代码示例。Isolation Forest是一种基于随机森林的离群点检测方法，它通过随机选择特征和切分点来“孤立”离群点。在实际应用中，离群点检测可以帮助我们识别数据集中的异常行为，从而进行进一步的分析或采取预防措施。评估离群点检测的效果通常比较困难，因为没有绝对的标准。基于密度的方法，如DBSCAN，根据数据点的密度而非固定阈值来识别离群点。
美赛备战学习资料-B站清风老师学习手写笔记
02-10
资源适合正在备战数学建模比赛（美赛、国赛等）、有学习数学模型需求的同学们下载观看，常用的预测模型有：线性回归模型、移动平均模型、指数平滑模型、趋势外推模型、 ARIMA预测模型、马尔可夫预测模型、投入产出预测模型、灰色预测模型、人工神经网络预测模型等。本资源包含灰色预测、时间序列、指数平滑、ARIMA、BP神经网络模型的基本介绍及原理（计算公式、各种情况分析）、操作步骤、实现过程、例题讲解，有图有文字，记录清晰。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值