LLaMA v1/2模型结构总览

最新推荐文章于 2025-04-25 13:03:34 发布
最新推荐文章于 2025-04-25 13:03:34 发布
阅读量2.2k 收藏 30
点赞数 32
分类专栏： LLM大语言模型 文章标签： llama
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_37574187/article/details/136094365
版权

LLaMA v1/2模型结构总览

孟繁续

​

目录

收起

结构

Group Query Attention(V2 only)

RMSNorm

SwiGLU

RoPE

llama2 出来了，并且开源可商用，这下开源社区又要变天了。快速看一下官网以及paper，看看lla

了解本专栏 订阅专栏 解锁全文 超级会员免费看
结构篇| 浅析LLaMA网络架构
强化学习曾小健
12-05 1694
LLaMA（Large Language Model Meta AI）是由Meta AI 发布的一个开放且高效的大型基础语言模型。为什么突然讲这个模型，主要LLaMA 已经成为了最受欢迎的开源大语言模型之一，LLaMA 系列模型在学术界和工业界引起了广泛的 关注，对于推动大语言模型技术的开源发展做出了重要贡献。第一，开源，去了解其内部模型具有可行性。第二，它很受欢迎，说明在LLM界还是具有很强代表性，了解它内部结构有助于深入理解LLM发展路径。
LLaMA 的模型结构
lqq
10-24 1604
是 LLaMA 中一个重要的创新，旨在替代传统的绝对位置编码，改进位置信息在注意力机制中的作用。其核心思想是通过使用复数的几何操作（旋转）将位置编码引入查询（q）和键（k）中，实现相对位置编码的效果。SwiGLU 是一种改进的激活函数，相比经典的 ReLU 或 Swish，它在大规模模型如 PaLM 和 LLaMA 中表现更好，能提供更高的非线性表达能力。RoPE 的优势在于它能处理更长的序列并捕捉相对位置信息，特别适合在大规模自然语言模型中应用。LLaMA 不同模型规模下的具体超参数细节。
【LLM】Group Query Attention (GQA)
2665000101@qq.com
02-04 1053
在 Transformer 模型中，注意力机制的计算开销很大，尤其是当序列长度和模型规模增加时。Group Query Attention (GQA) 是一种改进的注意力机制，旨在。的方式，减少了计算量，同时尽量保留了模型的表达能力。这样，既减少了计算量，又保留了不同注意力头的多样性。
Llama模型结构解析（源码阅读）
热门推荐
weixin_43508499的博客
08-29 1万+
llama模型结构源码解析
Llama网络结构介绍
吉米_王
04-23 9262
LLaMA现在已经是开源社区里炙手可热的模型了，但是原文中仅仅介绍了其和标准Transformer的差别，并没有一个全局的模型介绍。因此打算写篇文章，争取让读者不参考任何其他资料把LLaMA的模型搞懂。
llama3 结构详解
08-19 4533
然而，在MHA中，由于每个head都有独立的键和值，内存和计算成本较高，特别是在处理长序列或大批量数据时。我们知道，在《Attention is all you need》一文中，作者为了提高计算效率，提出了MHA技术，思想是采用分而治之的策略，把K、Q、V 对应的切分为若干个短向量，然后使用Scaled Dot-Product Attention 计算出attention score后，再把结果拼接起来，从而避免了超大向量乘法的计算消耗，从而提高了计算效率。的计算中，也没有做减去均值的操作(
一文为你深度解析LLaMA2模型架构
华为云官方博客
07-04 2125
本文对比LLaMA1和 LLaMA2模型的技术细节，了解LLaMA2模型的内部核心算法，包括与Transformers架构的差异，以及LLaMA2与国内大模型的异同，进一步加深了大家对LLaMA的理解。
【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
OldButSimple的博客
05-29 907
【代码】【Llama源码】激活函数--SiLU (Sigmoid Linear Unit)
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1692
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
OPENSCHOLAR-基于大模型RAG的科研专家
z551646的博客
11-30 624
科学进步取决于研究人员综合不断增长的文献的能力。大型语言模型 （LM） 能否帮助科学家完成这项任务？我们介绍了 OpenScholar ，这是一种专门的检索增强 LM，它通过从 4500 万篇开放获取论文中识别相关段落并综合引文支持的回复来回答科学问题。
分布式智能体系统在金融 / 医疗 / 制造行业的落地场景详解
最新发布
在信息的熵增中，记录结构、重建秩序。 技术思想者的笔记，系统构建者的注释。
04-25 658
本文深入解析分布式智能体系统在金融、医疗、制造三大关键行业中的落地路径，系统性拆解各类典型任务（如高频风控、用药推荐、产线质检）背后的智能体链路设计与部署结构，涵盖 Reasoner 策略适配、Tool 工具封装、Trace 审计链统一化与工控协议对接方式，并给出跨行业通用的模块抽象与可复用工程架构，助力企业构建高可用、强合规、可迁移的 Agentic AI 系统落地范式。
llama-2大模型结构
白马非马的博客
07-29 1521
LLama-2大模型的结构梳理，以7B为例
详解各种LLM系列｜（2）LLaMA 2模型架构、 预训练、SFT内容详解 (PART-1)
weixin_49659123的博客
12-02 3710
LLaMA 2模型架构、 预训练、SFT内容详解
【大模型】llama系列模型基础
idiotyi的博客
08-28 1930
llama基于transformer架构，与GPT相似，只用了transformer的解码器部分。本文主要是关于llama，llama2和llama3的结构解读。
LLaMA2模型架构和模型训练细节（总结）
qq_46176086的博客
11-08 405
下面按照大模型的预训练和微调，两大核心章节展开，
Llama架构及代码详解
laice的博客
11-11 968
Llama的框架图如图： 源码中含有大量分布式训练相关的代码，读起来比较晦涩难懂，所以我们对llama自顶向下进行了解析及复现，我们对其划分成四层，分别是顶层、上层、下层、底层，如下：由上图可知，Llama整体是由1个embedding层，n个transformer层，和1个RMSNorm层组成的，所以顶层代码如下： 顶层 上层 我们首先进行RMSNorm的复现 然后对Transformer进行复现，在Transformer中，Transformer包括两个RMSNorm层，一个多头attention层，
一文读懂Llama2的架构和推理过程
bumblexbee的博客
02-26 1万+
Meta公司发布了一众备受瞩目的Llama系列大模型，其中的佼佼者无疑是优化后的Llama 2系列该模型训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，在各种基准集的测试上表现突出。深入了解Llama 2，可用于研究和商业用途。我们今天主要来了解一下该模型的整体结构和推理过程。
最强英文开源模型LLaMA架构探秘，从原理到源码
Steve Wang's blog
10-22 3736
LLaMA架构，三个关键点及对应原理，一些实现源码
大语言模型之四-LlaMA-2从模型到应用
shichaog的专栏
08-19 5393
最近开源大语言模型LlaMA-2火出圈，从huggingface的开源大语言模型排行榜可以看到LlaMA-2还是非常有潜力的开源商用大语言模型之一，相比InstructGPT，LlaMA-2在数据质量、培训技术、能力评估、安全评估和责任发布方面进行了大量的技术更新，此外在商业许可、huggingface等社区支持等方面也做的比较好，本篇文章以7B模型为例介绍LlaMA-2的推理、训练以及应用。相对来说LlaMA-2模型结构比Transformer简单一些，关于Transformer可以参见博客《
llama2模型结构图
01-09
### LLaMA2 模型架构图解析 #### 模型概述 LLaMA2 是 Meta 发布的一个大型语言模型系列，在原有基础上进行了多项改进。这些改进不仅体现在预训练使用的 token 数量增加上，还包括对模型架构本身的调整[^4]。 #### 架构特点 - **Group Query Attention (GQA)** GQA 的引入显著提升了模型效率和性能。这一机制允许查询在同一组内共享注意力计算资源，从而减少了冗余操作并提高了处理速度。 - **扩展的 Token 库** 预训练阶段使用了更多的 tokens，这使得 LLaMA2 能够学习到更加丰富的语义表示，进而增强了其理解和生成自然语言的能力。 #### 结构组件详解 1. **输入层** 输入文本经过分词器转换成 token 后进入模型。每个 token 对应一个唯一的 ID 编号，作为后续编码的基础。 2. **嵌入层（Embedding Layer）** 将离散化的 token IDs 映射至连续向量空间中的位置。此过程保留了词语间的相似性和上下文关系。 3. **多头自注意机制（Multi-head Self-Attention Mechanism）** 这一部分负责捕捉序列内部不同部分之间的依赖关系。通过多个平行运行的关注头来增强表达力，使模型可以同时关注不同的子模式。 4. **前馈神经网络（Feed Forward Neural Network, FFNN）** 经过自注意模块后的特征会被送入两层线性变换组成的全连接层中进一步加工。每层之间通常配有激活函数以引入非线性特性。 5. **Layer Normalization 层** 在每一层之后施加标准化操作有助于稳定梯度传播路径，加快收敛速率的同时防止数值溢出风险。 6. **输出层** 最终得到的结果会再次映回词汇表维度，并利用 Softmax 函数转化为概率分布形式给出预测结果。 7. **特殊之处——GQA 实现细节** - 查询分为若干个小组； - 每组内的所有查询共同作用于相同的一套键值对集合； - 不同组间保持独立运作互不干扰。 ```mermaid graph LR; A[Input Tokens] --> B(Embeddings); B --> C{Multi-Head<br>Self-Attention}; C --> D(Layer Norm); D --> E[FFNN]; E --> F(Layer Norm); F --> G(Output Probabilities); subgraph Grouped Queries within Multi-Head Self-Attention C -->|Query Groups| H(Keys & Values Sets); H --> I(Merged Outputs per Group); I --> J(Final Output Sequence); end ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

强化学习曾小健

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值