基于 Llama 的模型都有哪些？有什么细微的差异？

于 2024-10-09 15:06:12 发布
阅读量275 收藏 10
点赞数 13
文章标签： llama 算法 产品经理 人工智能 深度学习 transformer ai
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85373691/article/details/142787352
版权

在这里插入图片描述

问题

基于 Llama 的模型都有哪些？有什么细微的差异？

Llama 生态

现在的模型架构基本都是 Llama 了。即使本来也有一些自己独创的结构，但是随着 Llama 生态环境的日趋统一，也都被迫向 Llama 低头了，不然没人适配你的特殊架构，自然就不带你玩了。比如 GLM 之前属于 Prefix LM，但是现在也变成 Llama 类似了。

虽然大家都长的很像，但是细微之处还是有些不太一样。今天就聊聊跟 Llama 很像的模型之间的细微差异。

Llama 目前有3代，先看一下 Llama 自己的变化，然后再以 Llama 为基准看一下其他模型与 Llama 的不同。

Llama 1 2 3

Llama 1

Llama 1 的架构是基于 GPT 来的，做了如下的升级：

  • 采用了 Pre-RMSNorm

  • 把 Gelu 改成了 SwiGLU

  • 位置编码改成了 RoPE

需要注意的是，这些内容都不是 Meta 首创的，但是 Meta 的 Llama 团队将他们组合到了一起并且取得了开源的 SOTA 效果。至于闭源的，那肯定早都用了。

其结构如下所示(Llama 7B)：

    `LlamaForCausalLM(         (model): LlamaModel(           (embed_tokens): Embedding(32000, 4096, padding_idx=0)           (layers): ModuleList(             (0-31): 32 x LlamaDecoderLayer(               (self_attn): LlamaAttention(                 (q_proj): Linear(in_features=4096, out_features=4096, bias=False)                 (k_proj): Linear(in_features=4096, out_features=4096, bias=False)                 (v_proj): Linear(in_features=4096, out_features=4096, bias=False)                 (o_proj): Linear(in_features=4096, out_features=4096, bias=False)                 (rotary_emb): LlamaRotaryEmbedding()               )               (mlp): LlamaMLP(                 (gate_proj): Linear(in_features=4096, out_features=11008, bias=False)                 (up_proj): Linear(in_features=4096, out_features=11008, bias=False)                 (down_proj): Linear(in_features=11008, out_features=4096, bias=False)                 (act_fn): SiLU()               )               (input_layernorm): LlamaRMSNorm((4096,), eps=1e-06)               (post_attention_layernorm): LlamaRMSNorm((4096,), eps=1e-06)             )           )           (norm): LlamaRMSNorm((4096,), eps=1e-06)           (rotary_emb): LlamaRotaryEmbedding()         )         (lm_head): Linear(in_features=4096, out_features=32000, bias=False)       )`

在这里插入图片描述

Llama 2

Llama2 和 Llama1 结构基本相同，但是在更大的模型上（34B和70B） 采用了 grouped-query attention，主要是为了加速。

还有就是将上下文从 2048 扩展到了 4096.

Llama 3

Llama3 做了如下改变

  • GQA 变成标配。

  • 上下文 从 4096 扩展到了 8192

  • 词表大小从 32k 变成了 128k。前两代都是基于 SentencePiece 的，Llama 3 直接采用了 Openai 的 tiktoken。因为 tiktoken 用 rust 进行了底层的深度优化，效率比其他家要好很多。

Baichuan 系列

Baichuan 1

Baichuan 1 可以说是完全复用了 Llama 1 的架构。把权重的名字改一改可以完全用 baichuan 的代码来加载 llama 的权重。具体怎么修改的代码放在付费内容了，感兴趣可以看看。

有如下的差异：

  • llama 的 qkv 三个权重矩阵，在 baichuan 里变成了一个矩阵，相当于 qkv concat 起来了。

  • 扩充了 llama 的词表，加入了中文，词表大小为 64k，llama 1 为 32k。

  • 上下文为 4096， llama 1 为 2048.

Baichuan 2

Baichuan 2 的架构在 Llama 2 的基础上做了一些创新。

  • 在 lm_head 模块加了一个 norm，论文中说是可以提升效果

  • 在 13B 的模型上采用了 Alibi 位置编码。

  • 词表从 64k 扩充到了 125,696

Baichuan 3 & 4

没有开源。

Yi

yi 的架构和 llama2 一样。需要注意的是 llama2 只在更大的模型上使用了 GQA, 但是 Yi 在所有系列都用了。

在经历过一些开源协议的质疑之后，现在 yi 的模型可以用 LlamaForCausalLM 加载了。

Qwen

Qwen 1

Qwen 1 和 Llama 1 的区别如下：

  • qkv 矩阵和 baichuan 类似，变成了一个 concat 后的大矩阵。

  • 这个 qkv 的矩阵有 bias，这一点和大多数模型都不一样。这是因为苏剑林的一篇文章，认为加入 bias 可以提高模型的外推能力：https://spaces.ac.cn/archives/9577

  • 词表大小为：151936

  • 训练的长度是2048， 但是通过一些外推手段来扩展长度。

Qwen 1.5

其实 Qwen 1.5 开始，比起 Llama 就多了很多自己的东西，只不过 Qwen 1 仍然和 Llama 很相似，所以这里也一并写一下吧。

1.5 的版本更像是在 1 的基础上做了很多扩展，重点如下：

  • 扩展长度到 32K

  • sliding window attention 和 full attention 的混合

  • 32B 的模型尝试了使用 GQA

  • tokenizer 针对代码做了一些优化。

Qwen 2

Qwen 2 包含了 1.5 的所有改变。和 llama 2 的区别：

  • qkv 矩阵有 bias

  • 全尺寸使用了 GQA

  • 上下文扩展为 32K

  • 采用了 Dual Chunk Attention with YARN

  • 还有一点就是在同等尺寸上，Qwen 2 相对于 1.5 和 1，将 MLP 模块的 hidden size 变大了，其他模块的 hidden size 变小了。以提高模型的表达的记忆能力。

  • 词表又扩充了一点点。

ChatGLM

GLM 最开始的时候采用的是 Prefix LM，但是后来也都改成 Decoder Only LM 了。

所以虽然 GLM 要早于 Llama，但是最后还是和 Llama 变得很像。上面提到的其实最像 Qwen 1.

所以也说一下与 Llama 的区别：

  • qkv 矩阵和 baichuan 类似，变成了一个 concat 后的大矩阵。

  • 这个 qkv 的矩阵有 bias。

MiniCPM

目前已经转战 size 略小一点的模型，也取得了很不错的效果。

我粗看其架构应该和 llama 3 差不多，区别：

  • 采用了 Weight Tying

  • 整体框架采用了 deep and thin 的结构。

有个细节是，我看论文里写的词表大小为：122,753， 似乎有点非主流。因为一般都需要设置成 8 或者64 的倍数。

Gemma

我要说 Gemma 是基于 Llama 的，Google 肯定是不承认的。

Google 有不承认的底气，毕竟 Transformers 是人家搞出来的， GLU 也是人家的，MQA 和 GQA 也是人家搞出来的。

最终发现 Llama 中除了 Pre-RMSNorm 和 RoPE，其他都是 Google 的成果。只能说 Google 真的是 “斗宗强者，恐怖如斯”。

但是最后的架构和 Llama 其实还是很像。区别如下：

Gemma 1

  • MLP 的激活采用了 GeGLU 而不是 SwiGLU

  • 采用了 MHA。但是 2 代还是换成了 GQA

  • 使用了 Weight Tying

Gemma 2

  • MLP 的激活采用了 GeGLU 而不是 SwiGLU

  • 融合了 Local and Global Attention

  • 使用了 Weight Tying

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型典型应用场景

①AI+教育：智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据，提供量身定制的学习方案，提高学习效果。
②AI+医疗：智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像，辅助医生进行早期诊断，同时根据患者数据制定个性化治疗方案。
③AI+金融：智能投顾和风险管理系统帮助投资者做出更明智的决策，并实时监控金融市场，识别潜在风险。
④AI+制造：智能制造和自动化工厂提高了生产效率和质量。通过AI技术，工厂可以实现设备预测性维护，减少停机时间。

⑤AI+零售：智能推荐系统和库存管理优化了用户体验和运营成本。AI可以分析用户行为，提供个性化商品推荐，同时优化库存，减少浪费。

⑥AI+交通：自动驾驶和智能交通管理提升了交通安全和效率。AI技术可以实现车辆自动驾驶，并优化交通信号控制，减少拥堵。

…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述

四、LLM面试题

在这里插入图片描述

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
在这里插入图片描述

和老莫一起学AI
关注
大模型面试之：阿里的Qwen模型和Baichuan、LLaMA有什么区别
人工智能曾小健
04-18 2045
Qwen使用了SwiGLU激活函数RMSNorm对Transformer的输入进行归一化Qwen使用了AdamW优化器总的来说,Qwen、Baichuan和LLaMA在激活函数、位置编码、优化器、注意力机制等关键架构设计上都存在一定差异,这些差异可能会影响到模型的性能表现。
大规模语言模型从理论到实践 LLaMA分布式训练实践
AI天才研究院
06-27 402
大规模语言模型从理论到实践 LLaMA分布式训练实践 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大规模语言模型，LLaMA，分布式训练，并行处理，GPU加速 1. 背景介绍
从零开始在本地部署大模型：基于Llama 3.1
iShare_Carlos的博客
07-28 3639
Llama 3.1 是 Meta 公司于 2024 年 7 月 23 日发布的最新开源大语言模型。这一版本在先前 Llama 3 的基础上进行了增强，支持多模态处理，并具有多种参数规模，包括 8B、70B 和 405B 参数。Llama 3.1 经过大规模文本数据的预训练，并结合了超过 1000 万个人工标注的示例，显著提高了模型的性能和适应性。Llama 3.1 尤其在多语言对话和编码能力方面表现出色，是目前 Meta 最先进的大语言模型之一。
中文LLaMA模型和指令精调的Alpaca大模型：中文数据进行二次预训练，进一步提升了中文基础语义理解能力
07-06
《中文LLaMA模型与指令精调的Alpaca大模型：深化中文语义理解的探索》 在当今快速发展的信息技术领域，人工智能（AI）尤其是自然语言处理（NLP）正逐渐成为研究的焦点。近期，一个名为"中文LLaMA模型"的创新成果...
第9篇：深度学习中的语言模型训练：基于LLaMA的实践与详解
Gemini的博客
07-03 489
语言模型是一种通过统计或机器学习方法，预测一个词序列中下一个词的概率的模型。它能够捕捉到词与词之间的依赖关系，从而生成连贯的文本。为了训练一个高质量的语言模型，我们需要选择大规模的多样化数据集。这些数据集可以包含不同类型的文本，如新闻文章、小说、技术文档、社交媒体帖子等。LLaMA模型基于Transformer架构，采用自注意力机制来捕捉文本中的复杂依赖关系。模型由多个编码器层组成，每个编码器层包括多头自注意力机制和前馈神经网络。
本地运行LLama 3.2的三种方法
李孟的博客
10-02 267
大型语言模型（LLMs）已经彻底改变了AI领域，小型模型也在崛起。因此，即使是在旧的PC和智能手机上运行先进的LLMs也成为了可能。为了给大家一个起点，我们将探索三种不同的方法来本地与LLama 3.2进行交互。
报错 - llama-index pydantic error | arbitrary_types_allowed | PydanticUserError
AI + 工程
10-08 300
设置 Settings.embed_model 报错
Llama 3.2 多模态大模型快速指南
新缸中之脑
10-02 1217
Meta 刚刚发布了 Llama 3.2，将语言和视觉模型整合到一个强大的多模态系统中。它引入了四个模型：两个轻量级文本模型（1B 和 3B）和两个视觉模型（11B 和 90B）。这些模型专为一系列任务而设计，从总结长文档到以复杂的方式理解图像。
【项目记录】大模型基于llama.cpp在Qemu-riscv64向量扩展指令下的部署
知识，既贵，又便宜。
10-03 1016
大模型基于llama.cpp在Qemu-riscv64向量扩展指令架构的模拟器上部署
使用 llamafile 以单个文件运行本地大模型
成富的专栏
10-06 342
在开发 GenAI 应用时，有一个在本地运行的大模型是非常重要的，可以很方便地进行开发和测试。目前有几个流行的在本地运行大模型的选项，包括 Ollama 和 LM Studio。这里介绍的是 llamafile。llamafile 是 Mozilla 支持的开源项目。llamafile 的目标是以单个文件来分发和运行大模型。每个大模型对应一个文件。这个文件可以直接运行。不需要安装，也不需要运行额...
Llama 3.2 安卓手机安装教程
新缸中之脑
10-05 1051
在刚刚结束的Meta开发者大会上，Llama 3.2惊艳亮相。此次，它不仅拥有多模态能力，还与Arm等公司合作，推出了专门针对高通、联发科硬件优化的“移动”版本。根据​​官方数据，Llama 3.2 11B和90B已经展现出超越同等规模闭源模型的性能。尤其是在图像理解任务上，Llama 3.2 11B的表现优于Claude 3 Haiku，90B版本甚至可以与GPT-4o-mini相媲美。
Llama 3.2 视觉能力评估
新缸中之脑
10-05 964
Meta 发布了 Llama 3 模型的新版本；这次，有四种模型用于不同的目的：两个多模态模型，Llama 3.2 11B 和 90B，以及两个用于边缘设备的小型语言模型，1B 和 3B。这些是 Meta AI 的首批多模态模型，基准测试表明它们是小型和中型专有替代品的强大竞争对手。我不太喜欢 LLM 基准测试；它们往往具有误导性，可能无法代表现实世界的表现。但是，你可以在中查看结果。我想在我每天经常遇到的最常见的视觉任务上测试该模型，并将其性能与我的首选 GPT-4o 进行比较。
【C++算法】9.双指针_四数之和
hlyd520的博客
10-04 553
后面的步骤类似，就不多赘述了。解法一：排序+暴力枚举+利用。双指针遇到合适的数继续往后走。解法二：排序+双指针。不满足循环条件，跳出。
数组综合应用（下标计数）C++
hjxxlsx的博客
10-08 750
HJ小学信息学社团每个同学都有且仅有一个数字编号（1~1000），现在帅气的吴老师准备举办n个学习项目，信息学社团的每个同学都参加项目且可以参加多个项目。,9共 9个数分成三组，分别组成三个三位数，且使这三个三位数的比例是 A:B:C，试求出所有满足条件的三个三位数，若无解，输出。n，表示参战的士兵数，1<=n<=1000000，第二行为n个整数，表示每位士兵的战功值（战功值<=1000000）。50、80、50、30分，则80分的士兵为第一名，50分的两名士兵均为第二名，30分的士兵为第四名。
代码随想录算法训练营Day28 | 39. 组合总和、40.组合总和Ⅱ、131.分割回文串
jiabao0520的博客
10-08 858
训练营第28天：39. 组合总和、40.组合总和Ⅱ、131.分割回文串
生成哈夫曼树
最新发布
TTz012的博客
10-08 118
例如：由叶子节点：5 15 40 30 10，生成的最优二叉树如下图所示，该树的最短带权路径长度为：40 * 1 + 30 * 2 + 5 * 4 + 10 * 4 = 205。所谓树的带权路径长度，就是树中所有的叶节点的权值乘上其到根节点的路径长度（若根节点为 0 层，叶节点到根节点的路径长度为叶节点的层数）二叉树节点中，左节点权值小于右节点权值，根节点权值为左右节点权值之和。给定长度为 n 的无序的数字数组，每个数字代表二叉树的叶子节点的权值，数字数组的值均大于等于1。
【理论科学与实践技术】数学与经济管理中的学科与实用算法
wnm23的专栏
10-02 805
在现代商业环境中，数学与经济管理的结合为企业提供了强大的决策支持。本文将介绍几个主要学科，包括数学基础、经济学模型、管理学及风险管理，并探讨相关的实用算法和这些算法在中国及全球知名企业中的实际应用。
＜使用生成式AI对四种冒泡排序实现形式分析解释的探讨整理＞
m0_57859086的博客
10-01 1240
/冒泡排序实现1——不常用（这个版本两层for循环分别是i++、j++）// 声明三个整型变量i、j和temp用于循环控制和交换元素for (i = 0;i < n - 1;i++) { // 外层循环，从数组的第一个元素开始遍历到倒数第二个元素j < n;j++) { // 内层循环，从当前外层循环位置的下一个元素开始遍历到最后一个元素if (A[i] > A[j]) { // 如果当前元素大于下一个元素// 将当前元素存储到临时变量temp中// 将下一个元素赋值给当前元素。
ICPC-day2(圆方树)
m0_74315028的博客
10-08 166
每次询问两点x, y，求是否存在一个n的排列，使得第一个元素为x，最后一个元素为y，且排列的任意一个前缀、任意一个后缀都连通。可以用圆方树缩点将其变成一颗树，再判断这颗树是否是一条链，x,y是否在这条链的两侧。其实就是求这两个点是否存在两个不相同的路径，同时两者路径的交集是n。
如何用python的huggingface库调用llama模型？
07-13
要使用Hugging Face库来调用LLAMA模型，首先你需要安装`transformers`库，这是Hugging Face提供的用于自然语言处理任务的Python库。然后，你可以按照以下步骤进行LLAMA模型的调用： 1. 导入所需的库和模块： ```python from transformers import AutoTokenizer, AutoModelForMaskedLM ``` 2. 加载LLAMA模型和分词器： ```python model_name = "csarron/llama-base" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForMaskedLM.from_pretrained(model_name) ``` 3. 准备输入文本并进行分词： ```python text = "This is an example sentence." inputs = tokenizer.encode_plus(text, add_special_tokens=True, return_tensors="pt") input_ids = inputs["input_ids"] ``` 4. 使用LLAMA模型进行预测： ```python with torch.no_grad(): outputs = model(input_ids) predictions = outputs[0] ``` 5. 解码预测结果： ```python predicted_index = torch.argmax(predictions[0, -1]).item() predicted_token = tokenizer.convert_ids_to_tokens([predicted_index])[0] ``` 这样，你就可以使用Hugging Face库调用LLAMA模型并进行预测了。请确保已经安装了所需的库以及正确设置了GPU（如果有的话）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值