热门开源大模型集合！

自2022年年底ChatGPT的火爆出圈以来，大模型开发的热潮如雨后春笋般涌现，推动了人工智能技术的飞速发展。本文旨在收集并介绍近两年大热的开源大语言模型，为开发者提供一个快速了解并认识最新、最热大模型的窗口。

此外，趋动云『社区项目』已经成功引入了多款热门的大语言模型，诚邀广大开发者前来体验与探索。

Llama

Llama 1 在 2023 年 2 月发布，参数量分别有7B、13B、30B 和 65B 四个版本。

同年 7 月发布了 Llama 2，参数量分别有 7B、13B、34B 和 70B 四个版本。相较于一代，二代将预训练的语料 token 数量扩充到了 2T（万亿），同时将模型的上下文长度从 2048 翻倍到了 4096，并引入分组查询注意力机制（grouped-query attention, GQA）技术，更好的权衡了最佳性能最佳性能(multi-query attention，MQA)和最佳模型质量(multi-head attention，MHA)之间的关系。

基于二代，8月份又发布了专注于代码生成的CodeLlama，参数量分别有 7B、13B、34B 和 70B 四个版本。

今年 4 月份，发布了 Llama 3，包括 8B 和70B 两个参数量版本。相比二代，三代支持 8K 长文本，并采用了编码效率更高的 tokenizer，词表的大小为 128K。token 的语料库超过 15T，超二代 7 倍还多。

开源团队：Meta

参考文献：

• Llama 1论文：https://arxiv.org/pdf/2302.13971

• Llama 1代码：https://github.com/meta-llama/llama

• Llama 2论文：https://arxiv.org/abs/2307.09288

• Llama 3代码：https://github.com/meta-llama/llama3

趋动云『社区项目』中相关项目体验教程：

• 一键部署 Meta新开源【Llama3.1-70B-Instruct】聊天

• 一键部署 【Llama-3.1-8B-Instruct】Llama Factory

Gemma

Gemma 是今年年初谷歌开源的一个小尺寸大语言模型，参数量有 2B 和 7B 两个版本，亮点是与自家最强的大模型 Gemini 共享同一套技术。

年中，又推出 Gemma 2，提供两种规模参数版本：9B 和 27B，每种规模又分为预训练基础版和指令调优版，总共四个版本。其中，27B 模型经过训练处理了 13 万亿个 tokens，而 9B 模型则是 8 万亿个 tokens。

相较于一代，Gemma 2在性能上有了显著提升，而部署要求却大幅降低。

参考文献：

• gemma-2b：https://huggingface.co/google/gemma-2b

• gemma-7b：https://huggingface.co/google/gemma-7b

• gemma-2-2b：https://huggingface.co/google/gemma-2-2b

• gemma-2-9b：https://huggingface.co/google/gemma-2-9b

趋动云『社区项目』中相关项目体验入口：

• 【Gemma2-2B-it】谷歌小模型 轻量级的小型巨人：https://open.virtaicloud.com/web/project/detail/477027980988674048

Qwen

Qwen(通义千问)是阿里开发的大语言模型，自 2023 年 4 月开放测试，8 月开源 7B 模型，12 月开源 72B；

至 2024 年 3 月开放了 Qwen1.5-32B，6 月开放 Qwen2，9 月开放 Qwen2.5，额外增加了 3B、14B 和 32B 参数量版本，

最大限度兼顾性能、效率和内存占用的平衡，Qwen 系列的不断更新，为开源社区做出了贡献。

系列名称	参数量	语言支持种类	tokens	最大上下文长度
Qwen 1	1.8B、7B、14B 和 72B 四个版本	以中文和英文为主	达 3 万亿	32K
Qwen 1.5	0.5B、1.8B、4B、7B、14B 和 72B 六个版本	12 种语言	7T	32K
Qwen 12	0.5B、1.5B、7B、57B 和 72B 五个版本	达 27 种	12 T	128K
Qwen 2.5	0.5B、1.5B、3B、7B、14B、32B 和 72B 七个版本	超 29 种	达 18T	128K

参考文献：

• Qwen 1论文：https://arxiv.org/pdf/2309.16609

• Qwen 1代码：https://github.com/QwenLM/Qwen

• Qwen 2论文：https://arxiv.org/pdf/2407.10671

• Qwen 2.5代码：https://github.com/QwenLM/Qwen2.5

趋动云『社区项目』中相关项目体验入口：

• 【Qwen-2.5-3B】甄嬛语气 LoRA 微调：https://open.virtaicloud.com/web/project/detail/495455094385659904

• 【Qwen2.5-LLM】扩展大型语言模型的边界：https://open.virtaicloud.com/web/project/detail/494408714095894528

• 【Qwen2-Audio-7B-Instruct】对话式AI突破，让你“声”临其境：https://open.virtaicloud.com/web/project/detail/478841736102936576

InternLM

2023 年 9 月上海 AI Lab 发布 InternLM-20B，包括 base+chat 两版，同年 12 月更新了 InternLM-7B-Chat 和 InternLM-20B-Chat 模型权重。

2024 年 1 月相继发布了

• InternLM2-7B 和 InternLM2-20B，base+chat；

• InternLM2-Math-7B 和 InternLM2-Math-20B，用于数理逻辑推理，超过ChatGPT；

• InternLM2-1.8B：轻量模型发布，base+chat。

3 月发布 InternLM2 技术报告；
6 月发布 InternLM2.5-7B、InternLM2.5-7B-Chat 和 InternLM2.5-7B-Chat-1M；
7 月发布了 1.8B、7B 和 20B 大小的 InternLM2-Reward 系列奖励模型；
8 月发布了 InternLM2.5-1.8B、InternLM2.5-1.8B-Chat、InternLM2.5-20B 和 InternLM2.5-20B-Chat。

参考文献：

• InternLM2 论文：https://arxiv.org/abs/2403.17297

• 开源地址：https://github.com/InternLM/InternLM

• huggingface：https://huggingface.co/collections/internlm/internlm25-66853f32717072d17581bc13

Baichuan

Baichuan 是百川智能开发的一个开源可商用的大规模预训练语言模型，支持中英双语，上下文窗口长度为 4096。首先开放了 Baichuan-7B 版，随后更新了 Baichuan-13B 版，该版本训练语料 tokens 达 1.4 万亿 ，超过 LLaMA-13B 40%。

至 Baichuan 2 版中，训练语料 tokens 达 2.6 万亿，发布版本包括Base(7B、13B)、Chat(7B、13B)和Chat-4bits(7B、13B)。

参考文献：

• Baichuan-7B：https://github.com/baichuan-inc/Baichuan-7B

• Baichuan-13B：https://github.com/baichuan-inc/Baichuan-13B

• Baichuan2：https://github.com/baichuan-inc/Baichuan2

趋动云『社区项目』中相关项目体验入口：

• 使用【LLaMA Factory】微调【Baichuan2-13B-Chat】：https://open.virtaicloud.com/web/project/detail/460826327575740416

那么，如何系统的去学习大模型LLM？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套 《LLM大模型入门+进阶学习资源包》，扫码获取~

篇幅有限，部分资料如下：

👉LLM大模型学习指南+路线汇总👈

💥大模型入门要点，扫盲必看！

💥既然要系统的学习大模型，那么学习路线是必不可少的，这份路线能帮助你快速梳理知识，形成自己的体系。

路线图很大就不一一展示了 （文末领取）

👉大模型入门实战训练👈

💥光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉国内企业大模型落地应用案例👈

💥两本《中国大模型落地应用案例集》 收录了近两年151个优秀的大模型落地应用案例，这些案例覆盖了金融、医疗、教育、交通、制造等众多领域，无论是对于大模型技术的研究者，还是对于希望了解大模型技术在实际业务中如何应用的业内人士，都具有很高的参考价值。 （文末领取）

👉GitHub海量高星开源项目👈

💥收集整理了海量的开源项目，地址、代码、文档等等全都下载共享给大家一起学习！

👉LLM大模型学习视频👈

💥观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。 （文末领取）

👉640份大模型行业报告（持续更新）👈

💥包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

👉获取方式：

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓