一文读懂CompassRank榜单的评测指标【多模态学习实战手册】

已于 2025-02-26 23:41:34 修改
阅读量2k 收藏 23
点赞数 48
分类专栏： 大模型理论和实战 文章标签： 人工智能
于 2024-04-03 07:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengzizi/article/details/137250489
版权
CompassRank是大模型性能的中立评测平台，涵盖多领域、多任务的模型性能。文章介绍了MMBench、CCBench、MME等多模态评测基准，涉及跨模态任务、中文文化背景性能、多模态编码器评估等方面，为理解和优化多模态模型提供依据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。分享AI算法干货、技术心得。

欢迎关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

1. 前言

榜单链接：CompassRank

CompassRank 是一个中立且全面的性能榜单，作为大模型评测体系 OpenCompass2.0 中各类榜单的承载平台。它覆盖多领域、多任务下的模型性能，并定期更新，以提供动态的行业洞察。

CompassRank 保持中立性，不受任何商业利益干扰，并依托于 CompassKit 工具链体系中的各类评测手段，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型评测平台OpenCompass
yanqianglifei的专栏
07-21 2370
OpenCompass 是面向大模型评测的一站式平台。开源可复现：提供公平、公开、可复现的大模型评测方案全面的能力维度：五大维度设计，提供 50+ 个数据集约 30 万题的的模型评测方案，全面评估模型能力丰富的模型支持：已支持 20+ HuggingFace 及 API 模型分布式高效评测：一行命令实现任务分割和分布式评测，数小时即可完成千亿模型全量评测多样化评测范式：支持零样本、小样本及思维链评测，结合标准型或对话型提示词模板，轻松激发各种模型最大性能灵活化拓展：想增加新模型或数据集？
多模态言语评估-(工作准备)
MrWilliamVs的专栏
07-01 1162
机器学习方法 特征工程 流畅度： 从静默、停顿字眼、持续时间，频率几个方面来提特征。 如： 静默次数、平均静默持续时间、静默时间超过0.5s的频率，停顿字眼出现的次数(参考口语顺滑方向)(嗯，啊，额，mmm等语气词，重叠词，重复说的，)，子句在整个过程中，静默以及不流畅的频率。最终提取了7维的特征，标准化（均值方差归一）(比简单大数小数归一化靠谱)。 语调： 韵律特征如：基频、过零率、音高(主观，...
OpenCompass司南大模型评测体系-书生·浦语大模型第二期实战营第七课笔记&作业
2301_76739570的博客
04-20 1164
大模型评测，OpenCompass，司南，大模型榜单，评测
OpenCompass模型评估DeepSeek&Qwen
weixin_41688410的博客
02-06 1440
OpenCompass是一个开源大模型评测体系，旨在为大模型评估提供公平、开放和可复现的基准。本文挑选了2个模型，一个deepseek，一个qwen，进行了测试。
第六课OpenCompass 大模型评测笔记
qq_52410386的博客
01-22 509
对基座模型和微调后的模型是不同的在大模型时代还是非常重要的。
OpenCompass 大模型评测实战——笔记
YYYYbhjbhkv_的博客
04-24 1489
海量语料不可避免带来评测集污染，比如有的模型，它是在测试集上做的训练，这就会导致后面测试分数虚高，但他们也不公布自己训练的数据集，所以别人就不知道，或者测试集和训练集有大量重叠部分，也相当于作弊或者自欺欺人，所以亟需可靠的数据污染检测技术，那如何设计可动态更新的高质量评测基准，也是个问题。既然要评测，那就是要尽可能在一个相对准备充足的条件下对模型进行评测，但很多时候，因为提问者的问题提问的不够清楚，导致模型的回答也相对较差，那这就体现不出模型的能力，所以肯定是要在能体现模型能力的基础上再进行评测。
ccbench:并发控制基准
05-08
CCBench：重新设计并实现许多并发控制 该平台正在下面的存储库中重写。 下面是使用CCBench的分析文件。 安装二进制分发包 在Debian / Ubuntu Linux上，执行以下语句或bootstrap_apt.sh。 $ git clone --recurse-submodules this_repository $ cd ccbench $ sudo apt update -y && sudo apt-get install -y $(cat build_tools/ubuntu.deps) 准备使用 注意：应该在配置时通过指定用户本地路径来完成安装。 $ cd ccbench $ "run some build_tools/(bootstrap*.sh) files" bootstrap.sh的处理： 建立third_party / masstree。 boots
Python 源码分析之初体验
wenxueliu的博客
07-04 348
在 python 中，对象就是 C 中结构体在堆上申请的一块内存，一般来说， 对象不能静态初始化，并且也不能在栈上空间生存。唯一的例外就是类型 对象，python 中所有的內建的类型对象（整数类型对象，字符类型对象） 都是静态初始化的 python 架构 外部调用 Core Modules Library User-defined Modules Python Core ...
【大模型:知识图谱】--1.py2neo连接图数据库neo4j
我是个好人呀，????
06-03 474
本文介绍了Neo4j图数据库的安装与基本操作。主要内容包括：1) 使用py2neo连接Neo4j数据库；2) 通过Python实现节点创建、删除、属性修改等操作；3) 建立节点间关系的方法；4) 使用NodeMatcher和RelationshipMatcher进行节点和关系查询；5) 通过实例演示如何创建人物节点及其关系网络。文章还对比了Neo4j社区版和企业版的差异。全文提供了完整的代码示例，涵盖从连接到CRUD操作的完整流程。
当无人驾驶遇见无声天使，让AI司机与爱相伴“童”行
UISEE2031的博客
06-01 146
在中关村房山园内，驭势科技多款无人驾驶车辆整齐列队，没有普通汽车的轰鸣，这些AI司机用闪烁的灯光和显示着“无人驾驶”字样的屏幕迎接孩子们的到来。在AI的帮助下，TA们对于未来无人驾驶车的描述变成了一个个具象的画面，孩子们纷纷合影留念，想要定格心中梦想的种子。
3步在小米13手机跑DeepSeek R1
羊仔的博客
06-03 141
大家好！我是羊仔，专注AI工具、智能体、编程。
通过基于流视频预测的可泛化双手操作基础策略
最新发布
yorkhunter的博客
06-04 595
25年5月来自中国电信、西北工业大学和香港科大的论文“Towards a Generalizable Bimanual Foundation Policy via Flow-based Video Prediction”。 由于动作空间巨大且需要协调手臂运动，学习可泛化的双手操作策略对于具身智体而言极具挑战性。现有方法依赖于视觉-语言-动作 (VLA) 模型来获取双手操作策略。然而，从单臂数据集或预训练 VLA 模型迁移知识通常无法有效泛化，这主要是由于双手数据的匮乏以及单臂和双手操作之间的根本差异。本文
大模型分布式训练笔记(基于accelerate+deepspeed分布式训练解决方案)
谢白羽
06-03 536
背景介绍海量的训练数据给大模型训练带来了海量的计算需求，主要体现在变大的模型对显存的依赖逐渐加剧单卡场景如何解决显存问题1 ）可训练参数量降低①参数高效微调--PEFT②prompt-Tuning、Prefix-Tuning、Lora等 2 ）参数精度降低①低精度模型训练--Bitsandbytes②半精度、INT8、NF4分布式训练简介指的是系统或计算任务被分布到多个独立的节点或计算资源上进行处理，而不是集中在单个节点或计算机上。
Sentiment analysis integrating LangGraph and large-scale conceptual models
frostmelody 全网同名，大家多多关注呀~ 持续分享优质内容！
05-31 1242
基础单元：句子/评论/文档（如图中4条手机评论）。扩展单元：实体（如“相机”、“电池”）。关系类型构建规则示例实体共现两节点提及相同实体评论A和B都讨论“电池”语义相似概念向量余弦相似度 > 阈值两条夸“拍照效果”的评论句法依赖基于依存解析的语法关系评论中“电池”修饰“续航”工具NetworkX或PyG（Python库）。
【2025年5月】AI生产力再探再报：各家智能体持续内卷，前沿应用不断细分
Seon_Pan的记录库
06-02 913
扣子空间、纳米AI超级搜索、Qwen3研究分析...6大AI比拼；MCPo、A2A...智能体框架再上一层楼！
用python与pyqt5写一个自己的ai智能小助手
zouxun660的博客
06-03 108
用python与pyqt5写一个自己的ai智能小助手
【第4章 图像与视频】4.6 结合剪辑区域来绘制图像
奋斗的小猪
05-29 1932
本节将综合运用图像处理、离屏 canvas 以及剪辑区域等技术实现墨镜效果。
Python打卡DAY43
m0_65171196的博客
06-02 255
kaggle找到一个图像数据集，用cnn网络进行训练并且用grad-cam做可视化。，该数据集分为六类，包含建筑、森林、冰川、山脉、海洋和街道。进阶：并拆分成多个文件。
RL中的熵机制：策略熵坍缩分析与协方差正则化方法
KI的博客
06-03 114
RL中的熵机制：策略熵坍缩分析与协方差正则化方法
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值