【Deepseek】大语言模型评测指标详解

已于 2025-01-04 21:15:10 修改
阅读量2.3k 收藏 14
点赞数 6
分类专栏： AI 文章标签： 语言模型 人工智能 自然语言处理
于 2025-01-04 18:51:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57125804/article/details/144933532
版权

在这里插入图片描述

DeepSeek-V3重磅发布：性能暴增3倍，价格却只有其他大模型的1/5！深度解析与实测

  1. MMLU-Pro (EM)

全称：Massive Multitask Language Understanding Professional
评测内容：专业领域的多任务语言理解能力
EM (Exact Match)：完全匹配的准确率
特点：比普通MMLU更专业，难度更高

  1. GPQA-Diamond (Pass@1)

全称：General Programming Questions Assessment
评测内容：通用编程问题解决能力
Pass@1：第一次尝试就通过的比率
特点：测试模型解决实际编程问题的能力

最低0.47元/天 解锁文章
最近爆火的DeepSeek v3详细测评来了，现阶段国产AI最强？
Code_流苏：在代码中寻诗意
01-02 3919
最近爆火的DeepSeek v3详细测评来了，或是现阶段国产AI最强？
大模型压测指标详解：定义、计算与评估
maxcode
02-26 532
随着大语言模型（LLM）在各个领域的广泛应用，其性能表现成为衡量模型是否适合实际业务场景的关键因素。压力测试（压测）是评估大模型性能的重要手段，通过模拟高负载场景，可以全面了解模型在吞吐量、响应时间、并发处理能力等方面的性能表现。本文将详细介绍大模型压测的核心指标，包括吞吐量、首次响应时间、全响应时间、并发处理能力等，并深入探讨这些指标的计算方法和评估标准。吞吐量是指系统在单位时间内能够处理的请求数量或生成的 Token 数量。吞吐量是衡量大模型性能的重要指标之一，通常用于评估模型在高负载场景下的处理能力。
Deepseek V3性能比肩顶尖模型：解读与使用
2401_85549225的博客
12-27 1万+
Deepseek在年关前发布了V3版本，并对模型做了比较详细的介绍，首先我们来看一下模型的参数与指标。
AI论文学习 | DeepSeek-R1：通过强化学习激励LLM的推理能力
ytt0523_com的博客
02-27 1015
DeepSeek-AI的这篇论文，探索了一种新的LLM训练方法，并取得了一些重要的成果。虽然还有一些问题需要解决，但它为LLM的发展指明了一个新的方向。
DeepSeek-R1,DeepSeek-V3,DeepSeek-VL,DeepSeek-V2,DeepSeek-R1-Zero各个模型区别
FPGA/MATLAB学习教程/源码/项目合作开发
01-29 1万+
DeepSeek-VL：DeepSeek-VL2 系列有 DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别具有 10 亿、28 亿和 45 亿个激活参数。DeepSeek-V2：基于高效且轻量级的框架 HAI-LLM 进行训练，采用 16-way zero-bubble pipeline 并行、8-way 专家并行和 ZeRO-1 数据并行。DeepSeek-VL：训练过程包括视觉-语言对齐、视觉 - 语言预训练、监督微调（SFT）三个阶段。
【NLP】「科学推理」基准榜单出炉！DeepSeek-R1 登顶，推理等级7级，o1紧随其后...
fengdu78的博客
01-23 972
SuperCLUE-Science中文大模型「科学推理」测评报告发布，皆在深入评估大模型在研究生级别的科学推理能力。该测评不仅关注模型的最终答案，还重点考察其解题过程。测评内容体系涵盖了 3 大维度，即物理、化学以及生物，每个维度之下还会有数个子维度，全面考察大模型在科学推理任务的综合表现。本次我们测评了国内外 10 个代表性大模型的科学推理能力，以下为详细测评报告。科学推理测评摘要测评要点1：...
DeepSeek-V2：性能评估与测试方法
gitblog_02862的博客
01-09 1351
DeepSeek-V2：性能评估与测试方法 DeepSeek-V2-Chat 项目地址: https://gitcode.com/mirrors/deepseek-ai/DeepSeek-V2-Chat ...
5分钟看看DeepSeek-R1做过的那些基准测试题（上）
a1966565的博客
02-16 2092
MMLU（Massive Multitask Language Understanding）覆盖57个学科（如科学、人文、社科等）的英文选择题，要求模型具备广泛的跨领域知识。IFEval通过聚焦可验证指令（如字数限制、JSON格式等），实现自动化、客观的评估，帮助研究者明确模型在哪些类型指令上表现不足，并支持不同模型的对比分析。增加大学级别难题的比例：MMLU-Pro 增加了更多挑战性的大学水平考试题目，这些问题要求大语言模型在不同领域进行深思熟虑的推理，才能得出正确答案。
DeepSeek语言模型训练方法详解
wangxi06的专栏
02-25 1190
DeepSeek的模型是基于Transformer架构的大语言模型，类似GPT的结构。训练这样的模型通常需要大量的数据、分布式训练、强大的计算资源。如果是企业级训练，需要分布式训练和大量GPU；如果是个人使用，可以进行微调，或者使用云服务。要准备数据，比如数据清洗、预处理、分词等。
北京大学-DeepSeek内部研讨系列：大模型私有化部署及一体机部署方案详解
03-04
内容概要：北大流出：详细介绍了DeepSeek大模型的私有化部署及其一体机部署的全流程。包括四大板块：一是个人用户体验和部署DeepSeek简化模型的方法，通过Ollama框架和相关工具实现本地高效部署，涵盖硬件配置、...
大模型系列：DeepSeek大模型与应用场景介绍
最新发布
IT技术分享社区
03-10 1142
在训练方法上，它结合了预训练和监督微调（SFT），并采用了混合精度 FP8 训练，这不仅降低了算力需求，还在保证模型计算精度的前提下，大幅度减少了内存使用和计算成本。让我们共同期待 DeepSeek 在未来能够创造更多的奇迹，为我们带来更多的惊喜和便利，也希望更多的人能够关注和了解 DeepSeek，一起探索人工智能的无限可能。在创意写作领域，它同样表现出色。比如，在学习物理时，对于 “量子纠缠” 这样抽象的概念，DeepSeek Chat 可以通过生动的比喻和详细的解释，让学生轻松理解其中的奥秘。
超详细解读：DeepSeek-V3技术报告全解析，掌握最新进展！
热门推荐
m0_65555479的博客
01-23 2万+
我们介绍了一个强大的混合专家（MoE）语言模型DeepSeek-V3，它具有总计671亿个参数和每个tokens激活的37亿个。为了实现高效的推理和成本效益的训练，DeepSeek-V3采用了Multi-head Latent Attention (MLA) 和 DeepSeekMoE 架构，这些架构在DeepSeek-V2中得到了彻底验证。此外，DeepSeek-V3开创了一种无辅助损失的负载平衡策略，并为更强性能设置了多tokens预测训练目标。
从老外视角来仰慕DeepSeek V3的强大
m0_56255097的博客
12-30 2639
去年，DeepSeek LLM 以其令人印象深刻的670亿参数，在英文和中文理解方面，经过精心训练的2万亿个token的庞大数据集引起了轰动。DeepSeek 通过开源其7B/67B基础和聊天模型，为研究合作树立了新的基准，深入植根于AI社区。现在，如果我告诉你有一个拥有6850亿参数的AI，它在AI领域的几乎所有模型中表现优异，并且是开源的，听起来是不是很吸引人？DeepSeek 通过发布 DeepSeek V3 迈出了巨大的一步，由中国实验室开发的DeepSeek，将AI创新的界限推向了更远。
Deepseek-R1性能指标
No trade is free, but my contents are.
01-28 3186
衡量模型在高难度通用知识问答（General-Purpose Question Answering）任务上的解答能力。主要衡量模型在数学竞赛题目上的解题能力。该任务测试模型在多学科知识上的表现。评估模型在编程竞赛环境中的排名。衡量模型在软件工程任务中的能力。评估模型在数学题目上的准确性。
使用DeepSeek开发股票选股公式和技术指标
WeskyNet
03-05 1134
前言：Deepseek火了很久，但是还很多人还不熟悉。特别是很多股民们，可能知道deepseek概念这个题材，但是deepseek本身的使用可能都还没去用过？接下来，我写一个简单的教程，教大家怎么通过deepseek来编写你的股票技术指标。1、首先你需要手机上下载deepseek，在应用商店下载即可。deepseek是完全免费使用的，所以如果遇到付费，一定是假的，注意辨别。deepseek的APP...
DeepSeek_R1蒸馏技术一文解析：让小模型也能拥有“超级大脑”
以为在机器学习领域与人工智能领域深耕多年的老牛
02-08 2354
在人工智能领域，大语言模型（LLMs）的发展正逐渐拉近与通用人工智能（AGI）的距离，而推理能力作为衡量模型智能程度的关键指标，备受关注。DeepSeek 团队推出的 DeepSeek-R1 系列模型，通过强化学习（RL）和蒸馏技术，为提升模型推理能力带来了新的突破，本文将深入剖析其中的蒸馏技术。
DeepSeek核心算法解析：如何打造比肩ChatGPT的国产大模型
weixin_52610848的博客
02-16 2504
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
DeepSeek-v3：开源大模型新高度，最强性能，最高性价比！（论文详解）
sherlockMa的博客
12-29 1万+
DeepSeek-V3是一个具有671B参数的大型Mixture-of-Experts语言模型，采用Multi-head Latent Attention和DeepSeekMoE架构以提高训练效率和推理性能。模型通过无辅助损失的负载平衡策略和多token预测训练目标优化，预训练于14.8万亿tokens，并经过监督微调和强化学习以提升性能。DeepSeek-V3在多个基准测试中表现优异，尤其在代码和数学任务上，与顶尖闭源模型媲美，而训练成本仅为2.788M H800 GPU小时。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI新纪元

您的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值