国内外十大语言模型横向对比测评（截至2023.12.8）

已于 2024-04-03 13:34:06 修改
阅读量2.6k 收藏 24
点赞数 24
分类专栏： AIGC 文章标签： 语言模型 人工智能 自然语言处理
于 2024-01-12 22:29:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40773212/article/details/135398859
版权
本文对比分析了国内外十大语言模型在长距离理解、多语种泛化、关键信息处理、数学计算、推理、常识、思维链、文本生成、信息提取、JSON转换和代码执行等10个方面的性能，展示了GPT4和文心4在特定任务中的优势和挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

主要参考资料：
B站Up主贯一智能科技《国内外十大语言模型之横向对比测评》

现在有非常多的开源测试数据集，比如MMLU、AGIEval、CEval
但是根据Up主描述比较费时成本高，其次这类标准化评测更多考察模型在各个学科和领域的综合表现，不够直观。
下面是Up主选择的10个方面。限制实验提示词一律使用汉语，每次测试后都会重启对话。

目录

长距离捕获力+精确度

题目：请闭合下面的括号：{[({[(

多语种泛化能力+关键信息捕捉

题目：yeterday我eat了three个hamburger，每个cost我三dollar，total多少monney？
在此基础上每次替换一个外语单词，知道模型无法正确输出结果为止。

多轮对话+数学计算

题目：这一轮的数字是1，请记住。
这一轮的数字是2，请记住。并和之前所有轮数字相加。
这一轮的数字是3，请记住。并和之前所有轮数字相加。
……
GPT4、通义千问、文心4都可以坚持30轮以上。

推理能力+常识+思维链

题目：小明有三个苹果，小红给了他两个橘子，然后他又从小华那里得到了两个苹果。之后，小明吃掉了一个苹果和一个橘子，又去百货商店卖掉了两个苹果，买了一个椰子、两颗卷心菜和三个橘子。请问，现在小明手上有多少个水果，多少个蔬菜?

GPT4和文心4推理正确

最低0.47元/天 解锁文章
现今大语言模型性能（准确率）比较
ZJQ的博客
03-01 342
列出参与比较的不同大语言模型名称，包括LLAMA3（70B）、LLAMA3（8B）、GPT-3（175B）、PaLM（540B）、LLAMA2（7B）。括号内的数字代表模型的参数量，一般来说参数量越大，模型的规模和潜在能力可能越强。 - **GLUE**、**SQuAD**、**HumanEval**、**APPS**、**MATH**、**StrategyQA**：这些都是不同的评估基准测试集。
国内外主流大模型语言技术大比拼
06-02 2689
国内外主流大模型语言技术大比拼
大模型、大语言模型、大型语言模型的区别和关系
2401_86154451的博客
07-25 3341
大模型”、“大语言模型”和“大型语言模型”这些术语在很多情况下可以互换使用，但它们在具体语境中可能会有细微的差别。
国内大语言模型对比评测（一）
zhangchuangzhuang的博客
02-04 1万+
针对国产大模型的横空出世并不断打磨其性能，这次评测我们将覆盖国内所有开源的大语言模型（如下），也针对大家常用功能的设计了测试问题，用于评测其生成结果的优劣。测试问题统一为中文，用于为国内用户使用大语言模型提供参考。、语言多样性和翻译、多学科知识融合、偏见和伦理、鲁棒性、数学推理、医学诊断、多模态理解和生成。
大小语言模型对比分析及启示
m0_59235245的博客
08-02 1140
过去一年多来，大语言模型（LLM）从 GPT-3.5、GPT-4 到 Llama等开源模型,一直备受关注。然而，近期一些迹象表明，小语言模型（SLM）正逐渐获得越来越多的重视，微软、GOOGLE等AI领域的大佬们纷纷开始下注小语言模型。出现这一趋势的原因何在，将给运营商带来哪些启示？LLM （大语言模型）的参数数量可以达到数千亿甚至数万亿。而SLM(小语言模型) 通常具有数亿或数十亿个参数，SLM 的训练和运行所需的时间和资源要少得多，这使得它们更加适合于资源有限的设备和应用。
大语言模型-对比学习-Contrastive Learning
weixin_42045968的博客
07-24 1762
对比学习 是一种特殊的`无监督学习方法`。 旨在通过`拉近相关样本的距离`并且`推远不相关样本的距离`，来学习`数据表示`。 通常使用一种高自由度、自定义的规则来`生成正负样本`。在模型预训练中有着广泛的应用。
Spark面试全攻略：深入理解与高效准备指南
数据与算法架构提升之路专栏
01-27 932
这份文档提供了全面的Spark面试准备指南，涵盖了从基础到高阶的面试问题，包括Spark的核心概念、API使用、性能优化技巧以及最新的Spark特性。文档结构清晰，内容详实，旨在帮助面试者深入理解Spark框架，提升面试表现。
隐私计算头条周刊（12.11-12.17）
aK031999的博客
12-20 465
近几年，随着科技的发展，结合隐私计算结合区块链技术受到了更多的关注。工业和信息化领域数据处理者在中华人民共和国境内收集和产生的重要数据和核心数据，法律、行政法规有境内存储要求的，应当在境内存储，确需向境外提供的，应当依法依规进行数据出境安全评估。《办法》的印发，将为进一步统筹气象数字经济的发展与安全，规范气象数据在对外服务中的流通交易活动，保障气象数据安全，维护国家安全和社会公共利益，保障气象部门和参与气象数据生产加工主体的权益，加快培育气象数据要素市场和加快推进气象数据市场化配置改革提供重要支撑。
端到端自动驾驶落地挑战与驱动力
自动驾驶实战
08-14 1157
大部分行业专家表示，特斯拉FSD v12的优秀表现，是端到端自动驾驶这一技术路线快速形成大范围共识的最重要的推动力；而在此之前，从来没有一个自动驾驶产品可以让从业者和用户如此便捷地感受到技术带来的体验提升。由第三方网站FSDTracker统计的特斯拉车辆接管里程数据也表明了FSD v12的巨大性能提升。在此前很长一段时间，FSD的版本迭代处于瓶颈期，自2022年初FSD v10更新以来，其接管里程数据保持在稳态波动，行业普遍认为这是传统架构的工程优化陷入瓶颈的表现；
【国内外大模型对比】
weixin_42650233的博客
09-10 1373
其次，在这一领域,OpenAI 和Google 显然占据先发优势和市场主导地位，它们不仅推动了文本大型语言模型的发展，而且逐渐形成了家族式的大型模型集群。最后，除了文本模型之外，代码预训练模型也成为一个新的研究热点，这些模型在代码相关任务上已经展示了出色的性能。大语言模型技术的快速发展，大语言模型已成为各大互联网公司制造影响力的重要工具。图中主要是从大模型文本预训练模型和大模型代码预训练模型的对比。从参数量、输入长度限制、访问方式以及模型微调方式等多个方面对比了目前较为知名的文本大规模预训练语言模型。
国内大语言模型对比评测（三）
热门推荐
zhangchuangzhuang的博客
02-21 2万+
针对国产免费使用的大语言模型，我们基于不同方面的问题去测试模型并给出一个基础结果和主观评价。希望通过该工作以帮助各位读者找到满足自己需求的大语言模型，提高大家的工作学习效率。对于大模型生成结果给出一个综合排档：第一档：阿里通义千问、百度文心、智谱清言、讯飞星火第二档：腾讯混元、百川智能、抖音云雀第三档：MINIMAX后续我们仍会继续精进测评结果！！！
2023年6月 国内大语言模型对比【国内模型正在崛起】
QAQterrible的博客
06-06 1896
先说一下这个文章怎么来的。因为朋友问我大语言模型可以生成公务员面试回答不，我说可以啊。之前看文心有这个服务。我想最近好几个模型也没用了测一把！结果！大吃一惊！我觉得我的三个傻孩子长大了！（chatglm130B才出的没算进去）你是一名参加公务员考试的考生，请根据公务员考试结构化面试的评分标准，口语化地回答以下问题，字数控制在400字左右。假如你上岗后，领导交代你和一位同事共同完成本单位的财务迎检工作，他自顾自干活，你会怎么做？国外的：claude。
使用 ollama 部署本地模型，零基础入门到精通，非常详细收藏我这一篇就够了
m0_65555479的博客
08-15 2917
在本地启动并运行大型语言模型。运行Llama 2，Code Llama和其他模型。自定义并创建您自己的。
大型语言模型比较： Gen2/Gen3模型(Bloom、 Gopher、 OPT 和 其它)
第欧根尼的酒桶的博客
02-21 2350
第二代和第三代大型语言模型（LLM）沿着参数复杂性、训练材料和指令式微调不断发展。从本文涉及的模型中可以观察到以下趋势。首先，如Megatron模型所示并引领的，有效的管道和数据并行对于有效且可扩展的训练至关重要。几个开源框架解决了这些训练需求，并可被所有后续研究所使用。其次，如BLOOM和TK-Instruct所展示的，使用指令式提示进行训练或微调，可以显著提高模型在多个NLP和任务基准测试中的性能。似乎存在一个阈值，即每个任务所需的实例数量，以实现这种泛化。
综述 | 大型语言模型全盘点！从T5到GPT-4
idol24的博客
04-04 1616
本文来源 机器之心编辑部为什么仿佛一夜之间，自然语言处理（NLP）领域就突然突飞猛进，摸到了通用人工智能的门槛？如今的大语言模型（LLM）发展到了什么程度？未来短时间内，AGI 的发展路线又将如何？自 20 世纪 50 年代图灵测试提出以来，人们始终在探索机器处理语言智能的能力。语言本质上是一个错综复杂的人类表达系统，受到语法规则的约束。因此，开发能够理解和精通语言的强大 AI 算法面临着巨大挑...
大语言模型 | 国内244个大模型及国外主要大模型汇总（收藏必备）
weixin_59191169的博客
11-12 1788
Microsoft Copilot 作为 Microsoft 365 的一部分，集成了 GPT-4 Turbo 等先进的大型语言模型，为用户提供了跨应用程序的智能辅助体验， 支持 Word、Excel、PowerPoint 等多个办公软件，并能根据用户习惯和偏好提供个 性化工作建议。这一系列模型的核心在于采用了多层 Transformer 结构，通过在大规模文本 语料库中进行预训练，学习语言的通用模式和结构，从而生成自然、连贯的文本。
海外 AI 大模型横向评测比对
东南草堂
07-12 437
价格：每个代币的价格，以每百万个代币的美元表示。价格是输入和输出代币价格的混合（3：1比例）。质量：指数代表聊天机器人领域、MMLU和MT-Bench的标准化平均相对性能。输出速度：模型生成令牌时（即从 API 接收第一个块后）每秒接收的令牌数。各提供商的中位数：数字表示支持该模型的所有提供商的中位数 （P50）。
目前最火AI模型横向比较
最新发布
迎着阳光盛大逃亡~
01-27 2446
不同AI模型异同点
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值