大模型听课笔记——书生·浦语（6）

最新推荐文章于 2024-10-03 10:53:42 发布
最新推荐文章于 2024-10-03 10:53:42 发布
阅读量427 收藏 8
点赞数 8
分类专栏： 书生浦语学习笔记 文章标签： 笔记 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rabbit9798/article/details/135773319
版权

OpenCompass大模型测评

书生浦语系列的最后一节课程笔记。

评测的需求产生：不同种类的模型急剧增多，对模型的性能和能力边界探索的边界.

我们为什么需要模型评测？

在这里插入图片描述

我们需要评测什么？

在这里插入图片描述

如何测评大语言模型？

基座模型：一般是经过海量的文本数据以自监督学习的方式进行训练获得的模型（如OpenAI的GPT-3，Meta的LLaMA），往往具有强大的文字续写能力。

对话模型：一般是在的基座模型的基础上，经过指令微调或人类偏好对齐获得的模型（如OpenAI的ChatGPT、上海人工智能实验室的书生·浦语），能理解人类指令，具有较强的对话能力。

  • 客观评测（正则匹配判断）
  • 主观评测（人工消耗太大的话考虑采用GPT 4）
  • 基于提示词工程的评测

主流大模型评测框架

在这里插入图片描述
为了准确和公正地评估大模型的能力，国内外机构在大模型评测上开展了大量的尝试和探索。斯坦福大学提出了较为系统的评测框架HELM，从准确性，安全性，鲁棒性和公平性等维度开展模型评测。纽约大学联合谷歌和Meta提出了SuperGLUE评测集，从推理能力，常识理解，问答能力等方面入手，构建了包括8个子任务的大语言模型评测数据集。加州大学伯克利分校提出了MMLU测试集，构建了涵盖高中和大学的多项考试，来评估模型的知识能力和推理能力。谷歌也提出了包含数理科学，编程代码，阅读理解，逻辑推理等子任务的评测集Big-Bench，涵盖200多个子任务，对模型能力进行系统化的评估。在中文评测方面，国内的学术机构也提出了如CLUE,CUGE等评测数据集，从文本分类，阅读理解，逻辑推理等方面评测语言模型的中文能力。

OpenCompass 能力框架

随着大模型的蓬勃发展，如何全面系统地评估大模型的各项能力成为了亟待解决的问题。由于大语言模型和多模态模型的能力强大，应用场景广泛，目前学术界和工业界的评测方案往往只关注模型的部分能力维度，缺少系统化的能力维度框架与评测方案。OpenCompass提供设计一套全面、高效、可拓展的大模型评测方案，对模型能力、性能、安全性等进行全方位的评估。OpenCompass提供分布式自动化的评测系统，支持对(语言/多模态)大模型开展全面系统的能力评估。
在这里插入图片描述

OpenCompass 开源评测平台架构

在这里插入图片描述

OpenCompass 评测流水线设计

在这里插入图片描述

大模型评测领域的挑战

在这里插入图片描述
在这里插入图片描述

亲爱的阿基米德^
关注
专栏目录
转：施琪嘉《客体关系》听课笔记——73整理.doc
10-11
【施琪嘉《客体关系》听课笔记】讨论了精神分析和客体关系理论在理解和处理个体心理问题中的重要性。客体关系理论是现代精神分析的一个重要分支，它强调人际关系对个人发展和心理健康的影响，特别是早期亲子关系。...
汽车维修听课笔记汽车电子技术.pdf
05-13
但基于文件标题“汽车维修听课笔记汽车电子技术.pdf”以及描述内容，我们可以推测此文件应包含以下几个汽车电子技术与维修方面的重要知识点： 1. 汽车维修专业知识：这部分内容可能涵盖了汽车基本构造、发动机工作...
excel听课笔记.pdf
11-20
excel听课笔记.pdf
大自然的声音听课笔记.doc
09-15
《大自然的声音》这篇课文是小学语文统编教材中的一篇精彩篇章，主要讲述了大自然中风、水、动物声音的美妙之处，旨在引导学生感受生动的语言，积累并运用语言。课文结构清晰，通过总分的形式展现了大自然声音的多样...
数据结构 听课笔记 含代码
09-28
........................................................................................................数据结构 听课笔记 含代码
（笔记）第三期书生·浦语大模型实战营（十一卷王场）--书生入门岛通关第2关Python 基础知识
haidizym的博客
10-02 437
学员闯关手册：https://aicarrier.feishu.cn/wiki/ZcgkwqteZi9s4ZkYr0Gcayg1n1g?课程视频：https://www.bilibili.com/video/BV1mS421X7h4/课程文档：https://github.com/InternLM/Tutorial/tree/camp3/docs/L0/Python。
江科大笔记—LED闪烁& LED流水灯& 蜂鸣器
m0_62005595的博客
09-28 485
LED闪烁& LED流水灯& 蜂鸣器
【韩顺平Java笔记】第6章：数组、排序和查找
随手写写
10-02 713
排序是将多个数据，依指定的顺序进行排列的过程。
Spring（学习笔记）
m0_74728220的博客
10-02 966
context:annotation-config/>是 Spring 配置文件中的一个标签，用于开启注解配置功能。这个标签可以让 Spring 容器识别并处理使用注解定义的 bean。例如，可以使用 @Autowired 注解自动装配 bean，或者使用 @Component 注解将类标记为 bean 等。为什么加载上下文的时候，被包含的Bean它的构造函数的代码会执行呀？好像是很多代码都执行了！！！没有无参构造，有有参构造会报错！也就是说必须要有无参构造！这是为什么呀！
Coursera_ Algorithms I 学习笔记：Module_3_Analysis_of_Algorithm_Introduction
approximately_的博客
09-29 1178
Coursera_ Algorithms I 学习笔记：Module_3_Analysis_of_Algorithm_Introduction
项目-坦克大战学习笔记-控制玩家坦克不超出地图范围
2401_84659046的博客
10-02 551
由于坦克自身有占用像素格，而坦克生成位置是以左上角x,y的点开始生成，所有坦克向下和向右的实际碰撞位置应该是坦克生成位置加上坦自身宽或高，而坦克有四个方向就有4种对象碰撞可能，所以我们在物体对象的父类中声明存储物体宽和高的int类型。if (Fangxiang == fangxiang.Up)//检测坦克目前朝向。//设置父类继承过来的图片对象高。//设置父类继承过来的图片对象宽。}//放置图片对象的高。}//重写方向构造函数，调用传入的方向信息设置图片的宽高信息。
Elasticsearch学习笔记(2）
m0_74293254的博客
09-28 1218
创建索引: 使用 PUT 请求来定义索引及其映射。创建文档: 使用 POST 请求将数据添加到索引。读取文档: 使用 GET 请求获取特定文档。更新文档: 使用 POST 加上 _update 操作来修改现有文档。删除文档: 使用 DELETE 请求删除指定文档。删除索引: 使用 DELETE 请求删除整个索引。请求方式：POST请求格式：/{索引库名}/_doc/文档id示例：POST /my_index/_doc/1 { "field": "value" }
【数学分析笔记】第4章第3节 导数四则运算和反函数求导法则（1）
随手写写
10-02 830
4. 微分 4.3 导数四则运算与反函数求导法则 通过例题，计算常用的基本初等函数的导数 【例4.3.1】y=sin⁡xy=\sin xy=sinx 【解】y′(x)=lim⁡Δx→0sin⁡(x+Δx)−sin⁡xΔx=lim⁡Δx→02cos⁡2x+Δx2sin⁡Δx2Δx=cos⁡xy'(x)=\lim\limits_{\Delta x\to 0}\frac{\sin (x+\Delta x)-\sin x}{\Delta x}=\lim\limits_{\Delta x\to 0}\frac{2\c
计算机组成原理（笔记6阵列乘法器、补码阵列乘法器）
最新发布
m0_72827793的博客
10-03 316
算前求补级输出为，同时乘法运算的时候是绝对值做的运算，而不是两个数的补码做的运算！因为在计算机里，是先有的补码，再做的运算。平时手算过程中我们是进行平行移位，可是在计算机里平行移位，会带来更大的开销，如下图我们可以看到，为此聪明的人，设计了斜移位的计算机。如图，11（1）（1）=1x2的3次方+1x2的2次方+（-1）x2的1次方+（-1）x2的0次方=9。上一章有写关于这个的乘法，当时是自学的，所以不够完美。值得注意的是最后一行用的是平行移位。平时我们计算乘法的时候是手算的。在电路中的实现，如图所示。
NeRF2: Neural Radio-Frequency Radiance Fields 笔记
行码棋
10-02 1135
任务：用 NeRF 对无线信号的传播进行建模，建模完成后可以用NeRF网络生成新位置下的信号。生成的信号用于指纹定位、信道估计等下游任务。
项目-坦克大战学习笔记-地图完善
2401_84659046的博客
10-01 510
/在30，30的位置创造竖着的五个墙体,传入（位置，数量，储存对象信息的列表）//在30，30的位置创造竖着的五个墙体,传入（位置，数量，储存对象信息的列表）private static void boos(int x,int y, Image img,Listlist)//放置boos专用方法。//创建一个列表放置铁块。foreach (gudin n in booslist)//遍历boos列表。foreach (gudin n in walllist)//遍历墙体列表。
学习笔记 | Golang基础，Go语言快速入门！
字节幺零二四的博客
09-28 1048
本文将介绍 Go 语言的基础语法，包括环境配置、数据类型、流程控制、函数、结构体、接口、异常、文本处理、并发编程、网络编程等。
FPS(Farthest Point Sampling) 编译笔记
jacke121的专栏
09-28 273
FPS(Farthest Point Sampling) 编译笔记
【C++笔记】初始模版和STL简介
大白的编程日记.
09-28 1198
哈喽，各位小伙伴大家好！上期我们讲了C++的编译器优化和内存管理。今天我们来讲解C++模版和STL库。话不多说，我们直接进入正题！向大厂冲锋！STL(standard template libaray-标准模板库)：是C++标准库的重要组成部分，不仅是一个可复用的组件库，而且是一个包罗数据结构与算法的软件框架。
Oracle数据库学习笔记——韩顺平老师讲解
"韩顺平老师Oracle听课笔记.pdf" 这篇PDF笔记是韩顺平老师关于Oracle数据库的讲解，包含了Oracle认证、与其他数据库的对比、安装过程以及Oracle的基本使用，特别是涉及到了sql*plus的一些常用命令。笔记中强调了sys...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值