![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
模型评测
文章平均质量分 89
司南OpenCompass
公众号:司南评测体系,致力构建透明、准确的大模型开源评测体系
展开
-
两行代码开启大模型评测之旅!OpenCompass 工具版本全面更新,快来试试看
作为 OpenCompass 司南大模型评测体系三大核心模块之一的评测工具链体系 CompassKit 近日迎来,更新内容主要集中在 OpenCompass 大语言模型评测工具,本文介绍了新功能的使用方法。原创 2024-09-03 16:57:16 · 947 阅读 · 0 评论 -
Compass Arena 上新啦!新增双多模态模型匿名对战
2024 年 5 月,上海人工智能实验室司南 OpenCompass 团队 与魔搭 ModelScope 联合推出了大模型评测平台——Compass Arena(大模型竞技场),为国内的大语言模型领域引入了一种全新的竞技模式。今天,Compass Arena 迎来重磅更新,新增了多模态大模型竞技版块——Compass Multi-Modal Arena。在这个全新的竞技场,用户可以轻松体验和比较多款主流多模态大模型的效果,找到适合自己的。原创 2024-08-09 17:24:03 · 990 阅读 · 0 评论 -
多模态模型评测神器 | OpenCompass MMBench 了解一下!
MMBench 是 OpenCompass 研究团队自建的视觉语言模型评测数据集,可实现从感知到认知能力逐级细分评估。研究团队从互联网公开信息与权威基准数据集采集约 3000 道单项选择题 ,覆盖目标检测、文字识别、动作识别、图像理解、关系推理等 20 个细粒度评估维度。原创 2024-08-06 14:50:07 · 948 阅读 · 0 评论 -
实战解读:Llama3 安全性对抗分析
近日,腾讯朱雀实验室、科恩实验室和上海人工智能实验室 司南 OpenCompass 大模型评测团队 针对Llama 3 安全性做了进一步解读。原创 2024-08-02 10:34:47 · 1113 阅读 · 0 评论