亲爱的小伙伴们😘,在求知的漫漫旅途中,若你对深度学习的奥秘、Java 与 Python 的奇妙世界,亦或是读研论文的撰写攻略有所探寻🧐,那不妨给我一个小小的关注吧🥰。我会精心筹备,在未来的日子里不定期地为大家呈上这些领域的知识宝藏与实用经验分享🎁。每一个点赞👍,都如同春日里的一缕阳光,给予我满满的动力与温暖,让我们在学习成长的道路上相伴而行,共同进步✨。期待你的关注与点赞哟🤗!
- Chatbot Arena(大模型竞技场):这是业界公认的公正、权威榜单之一,由大型模型系统组织(Large Model Systems Organization)于 2023 年 5 月推出,目前已集成 190 多种 AI 模型。该组织由加州大学伯克利分校、加州大学圣地亚哥分校以及卡耐基梅隆大学的学生与教职员工共同组建 ,旨在推动大型模型技术的普及。它采用匿名方式将大模型两两组队,交给用户进行盲测。用户针对相同问题与不同模型对话,根据真实对话体验对模型能力进行投票。在其最新一期榜单中,Qwen2.5-Max 以 1332 分排在全球第七名,在数学和编程等单项能力排名第一,在硬提示(Hard prompts)方面位居第二。该榜单能直观反映用户对模型的真实感受,为模型性能评估提供了独特视角。
- OpenCompass(司南):由上海人工智能实验室发布的开源大模型评测体系,目前已成为业界权威的大模型评估平台。它涵盖学科、语言、知识、理解、推理等多维度评测,可全面评估大模型综合能力。榜单采用专业用户投票方式,结合 Bradley-Terry 模型,基于历史匿名对战数据评估大模型竞技场 Elo 的等级分数,并以此分数对大模型进行排名。在其 CompassArena 周榜上,科大讯飞星火大模型多次名列前茅,榜单前四强还出现阿里通义千问和百度文心一言等,能公正、开放、透明地反映当前各家大模型产品综合实力。
- 天罡通用大模型评测榜单:中国电信研究院携手上海人工智能实验室、清华大学等产学研机构发布。该榜单重点围绕大模型的能力和安全指标进行评估,评测对象包括国际头部闭源的 OpenAI 的 GPT-4 系列、Google 的 Gemini 系列、Anthropic 的 Claude 系列,以及国内主流的闭源模型和国内外主流的开源模型。通过全面评测维度、权威评测题库、动态抽题、多裁判模型判别和人工审核等机制,展示了当前开源 / 闭源通用大模型整体能力分布和差距 。其中 GPT-4o 综合成绩排名第一,豆包 pro、通义千问 Qwen-Max 和智谱 GLM-4 在国产大模型中名列前三。
- 大模型可信能力评测排行榜:“大湾区生成式人工智能安全发展联合实验室” 全国首发。该榜单依据全国网络安全标准化技术委员会发布的《人工智能安全治理框架》1.0 版,研究制定了大模型安全可信及量化评级测评体系。从价值对齐、安全可控和能力可靠三个主要方向和 13 个细分维度,对模型的生成内容及行为进行全面评估。评测选取了国内外 22 个最新大模型(华为、腾讯作为联合建设单位,其模型不参与评测),评测数据集超 3.4 万条数据,支持中文和英文两种语言。该榜单能有效评估大模型在安全和可信方面的表现,为模型的安全使用提供参考。