盘点2024年最佳大语言模型

程序员羊羊

于 2024-10-08 10:09:34 发布

阅读量336

点赞数 18

文章标签：语言模型人工智能自然语言处理 docker 搜索引擎机器学习 embedding

本文链接：https://blog.csdn.net/chengxuyuanyy/article/details/142752791

版权

一

引言

大语言模型（LLM）用于理解和生成自然语言和编程语言的人工智能模型。它可以帮助完成适用程度和成本效率不同的各种任务。本文通过测试来自同一基础模型的多个独立模型，以找到最佳的大语言模型。

这一技术领域发展迅猛，尽管本文已尽可能保持时效性，也还是需要读者随时关注最新发布的模型，根据成本效益判断该模型是否更佳。

二

2024年度最佳大语言模型

1. 综合评估最佳：OpenAI的GPT

官方网站：https://openai.com/

图片来源：Unsplash

基于转换器（Transformer）的生成式预训练模型（Generative pre-trained transformer, GPT），是目前让科技公司的大语言模型得以投放到市场上的基础模型之一。虽然目前有几种不同类型的GPT可用，但第一个，也可以说是最知名的，是OpenAI在2018年推出的GPT-1。

OpenAI是GPT开发的引领者，已在过去几年发布了几个不同的版本供公众使用。虽然每次改版都更智能且功能更多样，但也伴随性能降低、响应速度变慢和使用成本增加等问题。GPT-3.5响应快速且价格实惠，但经常出错；而GPT-4虽改善了模型功能和智能程度，但使用成本增加，响应速度变慢。不过，最新版本GPT-4o逆势而上，成为迄今为止最为智能的版本，并大大降低了使用成本，同时提高了响应速度。

需要注意的是，与目前市场上的所有大语言模型一样，GPT模型也不可避免地会出现错误、歧义或误导等问题。虽然最新版本准确度更高，不太可能生成错误回复，但用户还是应该谨慎参考，另行验证其准确性。

2. 最佳编程助手：GitHub Copilot

官方网站：https://github.com/features/c

opilot

图片来源：Copilot

GitHub是目前最大且最知名的开发者平台之一。许多用户和企业使用它来存储、管理和共享代码库，因此他们创建了一个编程的大语言模型，以帮助开发者提高工作速度和效率。GitHub Copilot是由OpenAI的GPT-4模型驱动的编程助手，可在常用的集成开发环境（integrated development environment, IDE）中通过安装插件使用，如Visual Studio Code, Visual Studio, Vim, Neovim, JetBrains的IDE和Azure Data Studio。此外，与其他编程助手不同，GitHub Copilot能够原生集成到GitHub。

最引人注目的功能之一是GitHub Copilot能够使用提示来生成代码，这些代码可以是全新的，也可以基于项目现有的代码库，通过建议整个代码块或在键入时自动填充代码。GitHub表示，该模型已经使用开源代码库（包括GitHub的开源代码库）的源代码进行了训练，并声称GitHub Copilot可以支持开源代码库中出现的任何语言。然而，GitHub也提到，GitHub Copilot的建议的质量取决于该语言可用的训练数据量。也就是说，在使用模糊或较少使用的编程语言时，虽然GitHub Copilot也会提供建议，但质量不如更常见的语言。

3. 最有价值：Meta LLama 3

官方网站：https://llama.meta.com/

图片来源：Meta

Meta被列为全球五大科技公司之一，一直在开发自己的大语言模型，以支持其产品、大小型企业，以及学术研究等应用。Llama的初始版本于2023年2月发布，但仅限学术界、政府部门和研究团队用于特定需求。随后，Llama 2和Llama 3先后发布于2023年7月和2024年4月。与其他竞品相比，Llama 3在成本效益方面极具竞争力，这也是其一大卖点。虽然功能可能不及GPT-4o，但它仍是性能非常强大的模型，能用较少成本实现GPT-4o中的部分功能。

Meta正在开发更加庞大的Llama 3-400B，其首席人工智能科学家杨乐春（Yann LeCun）认为，一旦发布，它将成为世界上最强大的大语言模型之一。

4. 商务领域最佳：Claude 3

官方网站：https://www.anthropic.com/cl

aude

图片来源：Anthropic

Claude 3发布于2024年3月，是Anthropic的大语言模型Claude的最新版本。该版本基于2023年7月发布的Claude 2 进行改善。Claude 3有Haiku，Sonnet和Opus三个版本，每个版本的性能和成本都有所不同。

Anthropic称，作为Claude 3中最昂贵的版本，Claude 3 Opus除了擅长处理大数据之外，还是目前市场上最智能的模型，可基于被赋予的任务展现出一定程度的认知能力。

在一项测试中，工程师Alex Albert要求Claude 3 Opus从随机的文档集合里找出隐藏的特定句子，这简直是“大海捞针”。可Claude 3 Opus不仅找到了“针”，还指出目标句子在文中的位置欠妥，从而推测该句子是为了测试才被放在这里。这到底是因为Claude 3 Opus真的有认知能力，还是它不过在试图模仿人类的智慧？我们仍不得而知。但大语言模型有如此超常的认知水平仍令人十分震惊。

颇高的成本导致Claude 3 Opus缺乏一定的竞争力。Claude 3 Opus通过其API每百万个输出符号的成本为75美元，这比GPT-4 Turbo的30美元或Llama 3的0.9美元要高得多。虽然Claude 3的Haiku和Sonnet版本价格更便宜且响应速度更快，但它们的智能水平相对较低。

5. 最适合当聊天机器人：Qwen

官方网站：https://qwen.readthedocs.io/z

h-cn/latest/index.html#

图片来源：Qwen

阿里巴巴于2024年2月发布了大语言模型Qwen-1.5，目标是在成本和性能方面均可与谷歌的Gemini和Meta的Llama相媲美。除了基础模型外，阿里巴巴还发布了针对聊天场景优化的Qwen-1.5-chat模型。

Qwen-1.5是可免费下载的开源模型，还提供与各种设备兼容的不同大小版本。Qwen-1.5 chat功能最强大的版本有720亿个参数，最小版本有5亿个参数。Qwen-1.5的输入符号（token）限制为32K（14B模型限制为8K），与GPT-4持平，远高于Llama 2的4096个token，这在市面上的大语言模型中属于较高的输出限制。

在基准测试中，Qwen-1.5在大多数场景中稳超Llama 2，同时在与GPT-4的对比中也取得了有竞争力的表现。Qwen-1.5能以较低成本提供接近GPT-4的能力，还能通过自定义数据集进行微调，以适应特定的使用需求。

在客户支持场景中，Qwen-1.5能够比传统的基于关键词或规则的聊天机器人更理解客户可能遇到的问题，从而提高首次联系解决率，并将更复杂或高级的问题升级到二线支持代理。Qwen-1.5能使用35种语言进行交流，可提供超过150种语言的翻译服务。

6. 最佳多模式综合体：GPT-4o

官方网站：https://openai.com/index/hell

o-gpt-4o/

图片来源：OpenAI

OpenAI是目前最知名的大语言模型公司之一，已发布的模型包括图像生成工具DALL-E和基于GPT-3.5和GPT-4的聊天机器人ChatGPT。

OpenAI的最新产品GPT-4o发布于2024年5月，该模型通过添加文本、图像和音频集成，扩展了GPT-4 Turbo的多模态功能，同时进一步降低了成本，能够承担多维任务。OpenAI称，与GPT-4 Turbo相比，GPT-4o的运行速度是其两倍，成本是其一半，并且具有五倍的速率上限。

GPT-4o中最重要的升级之一是语音模式，它允许模型实时处理音频，并以人类的声音输出逼真的、语调合适的响应，用户仿佛在与真人聊天。此外，GPT-4o可以利用相机来分析周围的环境，以添加语境。OpenAI在GPT-4o发布公告的同时，以视频形式演示了音频模式和视觉功能，但这些功能还不能被广泛使用。

7. 最佳翻译：Google Gemini

官方网站：https://gemini.google.com/

图片来源：Google

Gemini 1.5发布于2024年2月，其初始版本为Gemini大语言模型。截至2024年5月，可供使用的Gemini 1.5 包括Pro和Flash两个版本。

Gemini不是翻译引擎，但可以通过访问谷歌翻译的多语言训练数据，再利用自身的大语言模型功能，以获取更自然流畅的译文。这种结合意味着Gemini 1.5可以为谷歌翻译的所有语言提供翻译服务。不过，其译文的流畅度取决于模型的多语言训练数据的水平，这也是其他大语言模型的限制所在。虽然其他大语言模型，如GPT-4o，也提供了一些翻译功能，但Gemini 1.5 的优势在于成本更低。

Gemini 1.5 Pro可限量免费使用。若输入超过一百万个token且获取更高速率，则需要用户订购。

三

如何选择合适的大语言模型

如何选择适合自己的大语言模型，最主要取决于性价比。虽然ChatGPT-4o的性能非常出色，几乎涵盖其他所有大语言模型能完成的任务，但成本较高。Claude 3虽然不像Copilot那样专门使用编程数据进行训练，但其编写代码的能力也相当出色。其次，要考虑数据的访问权限和拥有权。用户可通过OpenAI创建助手来训练自己的聊天机器人，但最终还是会用到OpenAI。若使用开源模型，用户可以保留数据并完全拥有自己的训练模型。

四

术语表

大语言模型 Large Language Model，LLM
生成式预训练机器学习模型 The Generative Pre-trained Transformer，GPT
集成开发环境 Integrated Development Environment，IDE

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。