使用 Python 从头开始​​构建百万参数 LLM

Image from GoogleDeepMind (Open Source available on pexels)
图片来自 GoogleDeepMind（pexels 上提供开源）

目录

使用 Python 从头开始​​构建百万参数 LLM  | Building a Million-Parameter LLM from Scratch Using Python

Understanding Transformers from Start to End — A Step-by-Step Math Example从头到尾理解 Transformer — 一个逐步的数学示例

We will be using a simple dataset and performing numerous matrix multiplications to solve the encoder and decoder parts…我们将使用一个简单的数据集并执行大量矩阵乘法来解决编码器和解码器部分......

Table of Contents 目录

Prerequisites 先决条件

Understanding the Transformer Architecture of LLaMA了解 LLaMA 的 Transformer 架构

Pre-normalization Using RMSNorm:使用 RMSNorm 进行预归一化：

SwiGLU Activation Function:SwiGLU 激活函数：

Rotary Embeddings (RoPE):旋转嵌入 (RoPE)：

Setting the Stage 搭建舞台

Data Preprocessing 数据预处理

Evaluation Strategy 评估策略

Setting Up a Base Neural Network Model设置基本神经网络模型

Replicating LLaMA Architecture复制 LLaMA 架构

RMSNorm for pre-normalization:预归一化的 RMSNorm：

Rotary Embeddings: 旋转嵌入：

SwiGLU activation function:SwiGLU 激活函数：

Experimenting with hyperparameters尝试超参数

Saving Your Language Model (LLM)保存你的语言模型（LLM）

Conclusion 结论

---