司南评测集社区 5 月上新一览

已于 2025-06-05 10:46:08 修改
阅读量944 收藏 27
点赞数 25
分类专栏： 评测数据集 文章标签： 人工智能 大模型评测 司南评测 司南评测集社区
于 2025-06-05 10:45:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/OpenCompass/article/details/148445724
版权

司南评测集社区 CompassHub 作为司南评测体系的重要组成部分，旨在打造创新性的基准测试资源导航社区，提供丰富、及时、专业的评测集信息，帮助研究人员和行业人士快速搜索和使用评测集。

2025 年 5 月，司南评测集社区新收录了 24 个评测基准，覆盖多模态、智能体、数学、推理、医学等方向，以下为部分新增评测集的介绍，欢迎大家下载使用。

司南评测集社区链接：

https://hub.opencompass.org.cn/home

MedArabiQ

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

发布单位：

New York University

发布时间：

2025-05-06

评测集简介：

MedArabiQ 是一个用于评估阿拉伯语医学任务的基准测试，包含七个任务，涵盖多种问题格式：多项选择题、填空题（有选项和无选项）、患者-医生问答对。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MedArabiQ

EWMBench

在这里插入图片描述

发布单位：

Agibot**,etc.**

发布时间：

2025-05-14

评测集简介：

EWMBench 是一个用于评估具身世界模型的基准测试，涵盖场景一致性、运动正确性和语义对齐等方面的任务。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/EWMBench

PSOCR

在这里插入图片描述

发布单位：

Zirak AI

发布时间：

2025-05-15

评测集简介：

PsOCR 是一个专为低资源普什图语光学字符识别（OCR）任务构建的大规模合成数据集，包含 100 万张合成图像，覆盖词级、行级和文档级三种标注形式。数据集涵盖 1000 种独特字体风格，并在颜色、图像尺寸、文本布局等方面展现出丰富多样的变化。此外，PsOCR 提供了一个 公开可用的 OCR 基准测试，包含 1 万张图像，便于对低资源普什图语OCR系统进行系统性评估和比较。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/PashtoOCR

MAVOS-DD

在这里插入图片描述

发布单位：

University of Bucharest,etc

发布时间：

2025-05-16

评测集简介：

MAVOS-DD 是一个多语言音视频开放集深度伪造检测基准，包含超过 250 小时的真实与伪造视频，覆盖八种语言，其中 60% 的数据为生成数据。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MAVOS-DD

CleanPatrick

在这里插入图片描述

发布单位：

University of Basel,etc

发布时间：

2025-05-16

评测集简介：

CleanPatrick 是一个专为图像领域数据清洗设计的大规模基准测试，基于 Fitzpatrick17k 皮肤病学数据集构建。该数据集旨在评估模型检测三类常见数据质量问题的能力：偏离主题的样本、近似重复样本以及标签错误。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/CleanPatrick

STARK_10k

在这里插入图片描述

发布单位：

University of California, Los Angeles

发布时间：

2025-05-16

评测集简介：

STARK 是一个全面的基准测试套件，旨在系统评估大语言模型和大推理模型在时空推理任务中的表现，特别是在网络物理系统中的应用，如机器人、自动驾驶和智能城市基础设施。该基准包含 26 种不同的时空任务，涵盖状态估计、时空关系推理和世界知识感知推理三个层次。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/STARK_10k

Massive-STEPS

在这里插入图片描述

发布单位：

University of New South Wales

发布时间：

2025-05-16

评测集简介：

Massive-STEPS 是一个大规模的语义轨迹数据集，旨在理解和预测兴趣点（POI）签到行为。该数据集基于 Semantic Trails 数据集构建，覆盖 12 个全球不同地区的城市，包含 2012年-2013年和2017年-2018年 两个时间段的签到数据，提供了更现代和多样化的 POI 签到信息。Massive-STEPS 不仅丰富了签到数据的语义信息，还通过与 Foursquare Open Source Places 数据集对齐，增加了 POI 的地理坐标、名称和地址等元数据。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/Massive-STEPS

IQBench

在这里插入图片描述

发布单位：

Harvard Medical School, USA Uppsala University,etc

发布时间：

2025-05-17

评测集简介：

IQBench 是一项新颖的基准测试，旨在通过标准化的视觉智商测试评估视觉语言模型的流体智力。该基准包含 500 道精心挑选的问题，全面覆盖智商测试的核心领域，包括模式识别、类比推理、视觉算术、空间理解、抽象与具体推理、数字与图形序列推理、字谜以及三段论语言推理。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/IQBench

TinyQA

在这里插入图片描述

发布单位：

Comet ML

发布时间：

2025-05-17

评测集简介：

TinyQA 是一个基准测试套件，旨在通过自然语言问答对评估大型语言模型的推理能力。该基准测试专注于评估各种推理技能，包括因果推理、逻辑推理和常识推理。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/tiny_qa_benchmark_pp

LLM-BabyBench

在这里插入图片描述

发布单位：

MBZUAI, Abu Dhabi, UAE

发布时间：

2025-05-17

评测集简介：

LLM-BabyBench 旨在评估大语言模型在基于环境的规划和推理任务上的表现。该基准测试建立在程序化生成的 BabyAI 网格世界的文本适配版本之上，评估大语言模型在交互式环境约束下进行规划和推理的能力。该基准包含三个方面：（1）预测动作对环境状态的影响（2）生成低级动作序列以实现指定的子目标（3）将高级任务分解为连贯的子目标序列。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/LLM-BabyBench

HARDMath2

在这里插入图片描述

发布单位：

Harvard University

发布时间：

2025-05-17

评测集简介：

HARDMath2 是由哈佛大学研究生课程的学生创建的一项应用数学基准测试，包含 211 道原创问题，涵盖边界层分析、WKB 方法、非线性偏微分方程的渐近解以及振荡积分的渐近性等核心主题。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/HARDMath2

MMS-VPR

在这里插入图片描述

发布单位：

University of Auckland & Hunan University

发布时间：

2025-05-18

评测集简介：

MMS-VPR 是一个大规模多模态数据集，用于行人区域的街道级地点识别。该数据集包含来自中国成都 207 个地点的 78,575 张图像和 2,512 个视频，具有丰富的元数据和空间图结构。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MMS-VPR

CSTS

发布单位：

University of Bristol,University of Nanjing,etc

发布时间：

2025-05-20

评测集简介：

CSTS 是一个综合性的合成基准数据集，专为评估时间序列数据中的相关结构发现而设计。该数据集系统地模拟了三个不同时间序列变量之间的已知相关结构，并可用于检验这些相关结构在分布偏移、稀疏化和降采样等条件下的表现和变化。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/CSTS

CLEVER

在这里插入图片描述

发布单位：

University of Texas at Austin,etc

发布时间：

2025-05-20

评测集简介：

CLEVER 是一个用于 Lean 4 中端到端代码生成和形式化验证的基准测试套件，改编自 HumanEval 数据集。其目标是超越基于测试用例的评估方式，要求模型不仅生成实现代码，还要生成形式化规范和证明——所有这些都可以通过 Lean 的类型检查器进行验证。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/CLEVER

MedBrowseComp

在这里插入图片描述

发布单位：

Harvard,etc

发布时间：

2025-05-20

评测集简介：

MedBrowseComp 是一个系统性测试智能体从实时、特定领域知识库中可靠检索和综合多跳医学事实能力的基准测试。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MedBrowseComp

TransBench

在这里插入图片描述

发布单位：

Alibaba International Digital Commerce, Beijing Language and Culture University

发布时间：

2025-05-20

评测集简介：

TransBench 是一个面向行业的综合性多语言翻译评估系统，专为工业应用而设计。它通过与通用翻译标准、垂直行业规范和文化本地化要求相一致的精心策划的数据集，量化不同行业和语言环境中的翻译模型性能。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/TransBench

AudioJailbreak

在这里插入图片描述

发布单位：

mbzuai

发布时间：

2025-05-21

评测集简介：

AudioJailbreak 是一个专门设计用于评估音频语言模型安全性的基准框架。该项目通过各种音频扰动技术测试模型对恶意请求的防御能力。

评测集社区链接：https://hub.opencompass.org.cn/dataset-detail/AudioJailbreak

MIRACL-VISION

在这里插入图片描述

发布单位：

NVIDIA

发布时间：

2025-05-22

评测集简介：

MIRACL-VISION 是一个涵盖 18 种不同语言的多语言视觉检索数据集。它是 MIRACL 的扩展版本，其包含用户问题、维基百科文章的图像以及标注。数据集中共有 7,898 个问题和 338,734 张图像。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MIRACL-VISION

MiniLongBench

在这里插入图片描述

发布单位：

MilkThink-Lab

发布时间：

2025-05-26

评测集简介：

MiniLongBench 是一个低成本的基准，用于评估 LLM 的长期上下文理解能力，具有紧凑而多样化的测试集，仅包含 237 个样本，涵盖 6 个主要任务类别和 21 个不同的任务。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/MiniLongBench

GitGoodBench Lite

在这里插入图片描述

发布单位：

JetBrains

发布时间：

2025-05-28

评测集简介：

GitGoodBench Lite 是一个用于评估 AI 智能体在解决各类 Git 任务中的性能的数据集。该数据集的样本均匀分布于三种编程语言（Python、Java 和 Kotlin）以及两种样本类型（合并冲突解决和文件提交语法)，其中每种编程语言和样本类型各包含 150 个样本。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/GitGoodBench

司南评测集社区 5 月上新介绍就到这里了，欢迎扫描下放二维码加入司南评测集社区交流群，第一时间获取最新评测集资讯。

ch Lite

[外链图片转存中…(img-EZFE9vEz-1749091215890)]

发布单位：

JetBrains

发布时间：

2025-05-28

评测集简介：

GitGoodBench Lite 是一个用于评估 AI 智能体在解决各类 Git 任务中的性能的数据集。该数据集的样本均匀分布于三种编程语言（Python、Java 和 Kotlin）以及两种样本类型（合并冲突解决和文件提交语法)，其中每种编程语言和样本类型各包含 150 个样本。

评测集社区链接：

https://hub.opencompass.org.cn/dataset-detail/GitGoodBench

司南评测集社区 5 月上新介绍就到这里了！

司南评测集社区 3 月上新一览！
OpenCompass的博客
04-02 958
MiLiC-Eval 是针对中国少数民族语言的 NLP 评估套件，涵盖藏语（bo）、维吾尔语（ug）、哈萨克语（kk，哈萨克阿拉伯语）和蒙古语（mn，传统蒙古语）。
司南评测集社区 2 月上新一览！
OpenCompass的博客
03-12 986
KITAB-Bench是一个全面多领域阿拉伯文 OCR 和文档理解基准，包含 36 个子领域，超过 8,809 个样本，经过精心挑选，以严格评估阿拉伯文 OCR 和文档分析所需的基本技能，研究表明现代视觉-语言模型（如 GPT-4、Gemini 和 Qwen）在字符错误率(CER)方面比传统 OCR 方法（如 EasyOCR、PaddleOCR 和 Surya）平均高出 60%， 领先模型 Gemini-2.0-Flash 也仅达到 65% 的准确率，体现了在准确识别阿拉伯语文本方面的挑战。
司南评测集社区 4 月上新一览
OpenCompass的博客
04-30 674
WorldScore 是用于世界生成的统一基准测试，包括一个精选数据集，其中包含 3000 个测试示例，包含静态和动态、室内和室外、逼真和风格化复杂的世界场景，并通过可控性、质量和动态性这三个关键方面评估生成的世界。
选翻译模型不再靠感觉！首个AI翻译实战榜来了，通用、行业、文化全面测评
OpenCompass的博客
05-30 535
随着AI大模型加速落地，翻译模型也迈入了“拼实力、看实用”的新阶段。近日，由共建的。该榜单基于，围绕三大核心维度，精心设计评估体系，并构建高质量、多语种、多场景的评测数据集，全方位、多维度地量化翻译模型在不同行业、不同语言环境下的综合能力。与传统的翻译测评相比，TransBench增加了幻觉率、文化禁忌词、敬语规范等指标，首次面向工业界针对细分行业领域构建评测数据和评测方法。这些指标均来自真实场景的使用反馈，以此来测评大模型是否符合大规模应用的标准。
国内大模型LLM测评&选择以及主流大模型快速使用教程
python12345678_的博客
07-27 2036
司南测评结果：SuperCLue测评结果：自2023年5月以来，全球及中国国内的大模型技术均展现出了强劲的发展势头，尤其是以GPT系列为代表的海外顶尖模型，历经了从GPT3.5到GPT4、GPT4-Turbo乃至GPT4o的多次迭代飞跃，持续推动AI技术的边界。与此同时，中国本土的大模型领域也经历了长达14个月的激烈竞争与快速进化，期间顶尖模型之位更迭了八次，彰显出国内技术实力的显著提升与不懈追求。从宏观趋势来看，国内外顶尖大模型在中文处理能力上的差距正显著缩小。
一份LLM资源清单围观技术大佬的日常；手把手教你在美国搭建「百万卡」AI数据中心；为啥大模型做不好简单的数学计算？ | ShowMeAI日报
ShowMeAI研究中心
06-24 971
日报关键词：🉑大模型做不好数学题的原因；AI辅助读书的新可能；企业GenAI浪潮获胜手册；🉑AI项目失败的6个血泪教训；🉑如何构建AI数据中心；🉑一份技术大佬的「LLM 资源清单」……点击阅读全文
司南导航GNSS模块新品K8测评.pdf
03-02
.。。。
移动互联网时代司南开启营销新思路.pptx
04-25
通过对特定时间段内，如2015年1月至5月的数据分析，司南可以帮助企业了解用户在不同月份的关注点，从而进行细分人群精准投放。 在教育行业，司南同样可以提供行业动态和消费者搜索行为分析。通过对比不同平台上的...
司南Lv2使用说明书.pdf
06-12
司南Lv2使用说明书.pdf 司南Lv2使用说明书.pdf是一份关于司南Lv2飞控系统的使用手册，该手册旨在指导用户正确地使用司南Lv2飞控系统，遵守相关法律法规，确保安全飞行。 一、飞控系统概述 司南Lv2飞控系统是一种...
司南麻雀IISparrow2說明書V1.7
03-29
根据提供的文件信息，我们可以归纳出关于司南麻雀IISparrow2的相关知识点，主要涉及产品的参数、安装接线方式、遥控器使用方法、感度调节以及飞行模式等几个方面。 ### 一、产品参数 司南麻雀IISparrow2是一款用于...
司南麻雀3飞控中文说明书
03-29
根据给定的文件信息，以下是对“司南麻雀3飞控中文说明书”中的关键知识点进行的详细解读： ### 一、产品参数 #### 飞控尺寸与重量： - **尺寸**：37*25*10mm - **重量**：15g 这些参数表明该飞控具有轻巧紧凑的...
强化学习 A2C算法
tony365的博客
06-13 1179
更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。在基于策略的方法中，我们的目标是直接优化策略，而无需使用价值函数。更准确地说，Reinforce 是 基于策略的方法 的一个子类，称为 策略梯度方法。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。然而，因为我们使用蒙特卡洛采样来估计回报（我们使用整个 episode 来计算回报），所以我们在策略梯度估计中存在显着的方差。
大模型工作流Dify面试题及参考答案
大模型大数据攻城狮的专栏
06-12 732
设计一个基于 Dify 的智能摘要与重点提取 Agent，需结合Prompt 工程、模型能力配置和工作流优化，确保对长文本的高效解析和关键信息提炼。1. 明确任务需求与输入输出输入：长文本内容（如文章、报告、会议记录）或文本 URL输出摘要：简洁概括原文核心内容，控制在原文长度的 10%-20%重点列表：分点列出关键数据、结论、行动项等可选：关键词提取、情感倾向分析示例场景输入：一篇 5000 字的行业报告。
Models-＞Chat Models-＞OpenAI Chat
xiatiaohcx的专栏
06-10 838
Spring AI支持来自OpenAI的各种AI语言模型，OpenAI是ChatGPT背后的公司，由于其创建了行业领先的文本生成模型和嵌入，它在激发人们对AI驱动的文本生成的兴趣方面发挥了重要作用。
原始的 P-Tuning 和 P-Tuning v2 在实现细节上有哪些不同
ZJQ的博客
06-10 1434
P-Tuning v2（2022） - **改进点**： - 在模型的每一层都添加软提示（类似 Prefix Tuning 的思路），而不只是输入层。 - **引入轻量级 MLP 层**：在预训练模型的输出后添加一个小型的多层感知机，增强分类能力。 - **结构特点**： ``` 输入文本 + 软提示 → 预训练LM → MLP层 → 分类输出 ``` MLP 通常由 1-2 层线性层组成，参数量远小于全量微调。
基于深度学习的智能图像分类系统：从零开始构建
最新发布
qq_74383080的博客
06-14 648
本文系统介绍了基于深度学习的智能图像分类系统构建方法。首先阐述了图像分类的基本概念及其在安防、自动驾驶、医疗等领域的应用。重点讲解了卷积神经网络（CNN）技术及数据增强、迁移学习等关键方法，并以ResNet模型为例提供了详细的代码实现，包括数据准备、模型训练与优化的完整流程。最后通过电商平台商品分类案例展示了95%以上准确率的实际应用效果。文章为计算机视觉领域的图像分类任务提供了从理论到实践的全面指导，并展望了深度学习技术在该领域的未来发展前景。
为什么在自动微分操作中要设置梯度清零
weixin_67868534的博客
06-13 366
为什么要设置梯度清零？获取x点的梯度值: x.grad,会使梯度值不断累加，导致梯度爆炸，所以需要设置清零操作
二维张量dim=1
GHL_17768588743的博客
06-11 1140
在PyTorch中处理二维张量（矩阵）时，‌dim=1‌，也就是逐行处理每一行的所有列元素。
扣子开发汽车行业智能客服示例
brucexia的专栏
06-11 1702
在本节中，我们想要创建一个AI客服，用于介绍汽车领域的行业知识，因此需要利用知识库的能力。首先，梳理汽车行业知识，形成FAQ（常见问题解答）。然后，将其上传到知识库中。最后，将知识库配置到AI Agent智能体中，使其能够调用知识库的内容作为回复。完成以上步骤之后，当用户咨询Agent有关汽车领域知识的问题时，Agent将根据FAQ的内容进行回答。传统的机器人客服只能生硬地套用FAQ，缺乏灵活性。
司南评测本地大模型怎么使用
01-01
### 使用本地大规模语言模型司南进行评测 #### 配置环境与准备 为了使用本地部署的大规模语言模型（如司南）进行评估，需先完成必要的配置工作。这涉及安装所需软件包以及设置运行环境。确保已准备好所需的硬件资源和支持的计算平台。 ```bash pip install opencompass # 安装OpenCompass库 ``` #### 创建评估项目结构 建立合理的文件夹架构来管理不同的组件，包括但不限于： - `config/`：存储所有的配置文件。 - `datasets/`：放置待测的数据集。 - `models/`：存放预训练好的模型权重或其他必要参数。 - `results/`：保存最终生成的结果文档。 #### 编写配置文件 编写JSON或YAML格式的配置文件以指定具体的评估选项。此步骤决定了哪些模型将被测试、采用何种数据源以及期望得到怎样的输出形式等细节[^3]。 ```json { "model": { "name": "snnan", "path": "./models/snnan" }, "dataset": [ {"type": "math", "file": "./datasets/math_problems.json"}, {"type": "coding", "file": "./datasets/code_samples.py"} ], "output_dir": "./results/" } ``` #### 执行推理与评估流程 通过命令行工具启动评估进程，此时系统会依据之前设定的内容自动处理各项任务，并行地对选定的模型和数据集实施推理操作，随后进入正式的评分环节。 ```bash opencompass evaluate --config ./config/evaluation_config.yaml ``` #### 结果分析与展示 当所有运算结束后，程序自动生成易于解析的日志记录及统计图表，帮助直观理解各方面的表现情况。除了基本的文字描述外，还可能附带图形化的总结材料以便更清晰地传达信息。 ```python import pandas as pd df = pd.read_csv('./results/performance_report.csv') print(df.head()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值