超强！10大开源大模型！

最新推荐文章于 2024-08-08 11:41:21 发布

AI学习不迷路

最新推荐文章于 2024-08-08 11:41:21 发布

阅读量1k

点赞数 8

文章标签：开源人工智能深度学习语言模型大模型 AI大模型自然语言处理

本文链接：https://blog.csdn.net/qkh1234567/article/details/140950884

版权

大型语言模型（LLMs）无疑是此次AI革命的关键，它们基于Transformer架构，通过预训练大量文本数据，获得惊人的对话和任务处理能力。

尽管如此，目前备受欢迎的大模型，**诸如ChatGPT和Bard，都建立在专有的闭源基础之上，**这无疑限制了它们的使用，并导致技术信息的透明度不足。

然而，开源AI大模型（LLMs）正逐渐崭露头角，它们不仅增强了数据的安全性和隐私保护，还为用户节省了成本，减少了对外部依赖，实现了代码的透明性和模型的个性化定制。更重要的是，开源LLMs积极支持社区的发展，推动着整个领域的创新和发展！

在本文，我会详细介绍下，10个顶级开源LLMs大模型！

1. LLaMA 3

近期，Meta 重磅发布发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Meta表示，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。

LLaMA 无疑是开源模型的顶流，国内好多大模型都是基于它实现的！ 它通过人类反馈的强化学习（RLHF）进行了微调。它是一种生成文本模型，可以用作聊天机器人，并且可以适应各种自然语言生成任务，包括编程任务。

从其分享的基准测试可以看出，Llama 3 400B+ 的实力几乎媲美 Claude 超大杯以及新版 GPT-4 Turbo，虽然仍有一定的差距，但足以证明其在顶尖大模型中占有一席之地。

模型下载链接：https://llama.meta.com/llama-downloads/

GitHub项目地址：https://github.com/meta-llama/llama3

2. Phi-3

Phi 是由微软 AI 研究院最新开发的一个开源「小型语言模型」，可商用，卖点是小，需要的资源少。

模型包括 Phi-3-Mini、Phi-3-Small 和 Phi-3-Medium。其中，Phi-3-Mini 最小，只有 3.8B 的参数，但在重要的基准测试中的表现可与大型模型如 Mixtral 8x7B 和 GPT-3.5 媲美而更大的 Small 和 Medium ，在扩展的数据集的加持下就更牛逼了。

《Phi-3 技术报告：一个能跑在手机上的大模型》：https://arxiv.org/abs/2404.14219

链接：https://huggingface.co/microsoft（待上线）

3. BERT

BERT是早期大型语言模型的代表作，底层技术基于Transformer架构。谷歌于2017年开发并在《注意力是你所需要的一切》中介绍了它。作为测试Transformer潜力的首批实验之一，BERT在2018年开源后迅速在自然语言处理任务中取得先进性能。由于其创新和开源性质，BERT成为最受欢迎的LLMs之一，有数千种开源、免费和预训练的模型用于各种用例。不可否认的是，近年来谷歌对开源大模型的态度变得较为冷漠。

链接：https://github.com/google-research/bert
所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

4. Falcon 180B

Falcon 40B已在开源LLM社区获得高度评价，位列Hugging Face排行榜首位。新推出的Falcon 180B展示了专有与开源LLM间差距正快速缩小。2023年9月，阿联酋技术创新研究所宣布，Falcon 180B正在接受1800亿参数的训练，其计算能力令人瞩目，已在多种NLP任务中超越LLaMA 2和GPT-3.5。尽管免费供商业和研究使用，但运行Falcon 180B需大量计算资源。

5. BLOOM

BLOOM 于 2022 年推出，经过与来自 70+ 个国家的志愿者和 Hugging Face 的研究人员为期一年的合作项目，BLOOM 是一种自回归LLM训练，可使用工业规模的计算资源在大量文本数据上继续从提示开始文本。

BLOOM 的发布标志着生成式 AI 开源化的重要里程碑。BLOOM 拥有 1760 亿个参数，是最强大的开源之一LLMs，能够以 46 种语言和 13 种编程语言提供连贯准确的文本。

其透明度是其核心特点，源代码和训练数据均可访问，方便运行、研究和改进。此外，BLOOM可通过Hugging Face生态系统免费使用。

链接：bigscience.huggingface.co

6. XGen-7B

多家公司纷纷参与LLM竞赛，Salesforce于2023年7月推出XGen-7BLLM。多数开源LLMs提供有限信息的大答案，而XGen-7B支持更长的上下文窗口。其高级版本XGen-7B-8K-base拥有8K上下文窗口。虽然XGen使用7B参数进行训练，远少于其他强大LLMs，但效率颇高。

尽管尺寸较小，XGen表现卓越，适用于商业和研究，但XGen-7B-{4K，8K}-inst版本除外，该版本经教学数据和RLHF训练，以非商业许可发布。

7. GPT-NeoX 和 GPT-J

GPT-NeoX和GPT-J是由EleutherAI实验室开发的GPT的开源替代品，分别拥有200亿和60亿参数。尽管与其他超过1000亿参数的LLMs相比，它们依然能提供高精度结果。它们经过22个高质量数据集的训练，适用于多个领域和用例。

与GPT-3不同，GPT-NeoX和GPT-J未接受RLHF训练。可用于各种自然语言处理任务，包括文本生成、情感分析以及研究和营销活动开发，并可通过NLP Cloud API免费获取。

8. Vicuna13-B

Vicuna-13B是一个开源对话模型，基于LLaMa 13B进行微调，训练数据来自ShareGPT收集的用户共享对话。

作为一款智能聊天机器人，Vicuna-13B在多个行业有广泛应用，如客户服务、医疗保健、教育、金融和旅游/酒店。

初步评估表明，Vicuna-13B在90%以上的案例中优于LLaMa2和Alpaca等其他模型。

9. M****istral 7B

Mistral 7B v0.2 是 Mistral-7B-Instruct-v0.2 的基础预训练模型，属于「Mistral Tiny」系列。此次更新主要提升上下文长度至32K，Rope Theta设为1e6，并取消滑动窗口。

链接：https://mistral.ai/

10. 零一万物

Yi系列模型是01.AI推出的下一代开源大型语言模型，旨在成为双语语言模型领域的佼佼者。该模型利用3T多语言语料库进行训练，具备出色的语言理解、常识推理和阅读理解等能力。

据2024年1月数据显示，Yi-34B-Chat模型在AlpacaEval排行榜上位列第二，仅次于GPT-4 Turbo，且优于其他LLM如GPT-4、Mixtral、Claude。此外，Yi-34B模型在Hugging Face Open LLM Leaderboard和C-Eval等各种基准测试中，均排名第一，超越所有现有开源模型，如Falcon-180B、Llama-70B、Claude。这些成绩使Yi系列模型成为全球最强大的LLM模型之一，展现出广阔的应用前景。

论文：https://arxiv.org/abs/2403.04652

链接：https://github.com/01-ai/Yi

如何选择适合您需求的开源LLM

开源LLM领域正迅速扩大，全球开发人员合作升级和优化LLMs版本，性能差距有望缩小。选择开源LLM时，需考虑以下因素，找到最适合您需求的LLM：

您的目标是什么？注意许可限制，选择适合商业用途的LLM。
为什么需要LLM？考虑是否有必要使用LLM实现您的想法，避免不必要的花费。
您需要的精度如何？大型LLMs通常更准确。如需要高精度，可选择如LLaMA或Falcon的大型模型。
您愿意投入多少资金？大型模型需要更多资源。考虑基础设施和云提供商成本。
能否使用预训练模型？如适合预训练模型的使用场景，可节省时间和金钱。

结语

IT行业的历史告诉我们，开源是软件领域里的一大潮流，它推动了应用生态的繁荣。但自从ChatGPT出现后，Open AI却选择了闭源，这使得开源大模型的发展似乎停滞在了GPT3.5的阶段。不过，业界还是有一些口碑不错的前沿开源大模型，比如Meta的LLaMA3、Mistral的Mistral 8x7B和零一万物的Yi-34B等。

虽然开源模式在构建生态方面很给力 ，但因为算力和算法等方面的限制，它在大模型领域的发展还充满了不确定性。 甚至有人担心，开源模型会逐渐落后。好在Llama 3的出现，给开源模型带来了一线希望。这场关于开源与闭源的辩论还在继续，咱们就拭目以待，看看开源和闭源将如何共同塑造AI的未来吧！

在大模型时代，我们如何有效的去学习大模型？

现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。
在这里插入图片描述

掌握大模型技术你还能拥有更多可能性：

• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；

• 能够拥有模型二次训练和微调能力，带领大家完成智能对话、文生图等热门应用；

• 薪资上浮10%-20%，覆盖更多高薪岗位，这是一个高需求、高待遇的热门方向和领域；

• 更优质的项目可以为未来创新创业提供基石。

可能大家都想学习AI大模型技术，也_想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。为了让大家少走弯路，少碰壁，这里我直接把都打包整理好，希望能够真正帮助到大家_。

一、AGI大模型系统学习路线

很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

在这里插入图片描述

第一阶段：从大模型系统设计入手，讲解大模型的主要方法；

第二阶段：在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段：大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段：大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段：大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段：以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。