LLama3 模型学习笔记

LLama3 模型学习笔记

Note：本文参考了 transformers GitHub 仓库 中对 LLama 的实现

整体结构

其中，Decode 部分可重复多次，单个 Decode 部分可表示为：

RMSNorm

$$\begin{gathered} \mu =\text{mean}({\text{hidden\_states}}^2,\text{axis}=-1,\text{keepdim}=\text{true}) \\ \text{hidden\_states}=\text{hidden\_states}\times \frac{1}{\sqrt{\mu +ϵ}} \\ \text{output}=\text{self.weight}\times \text{hidden\_states} \end{gathered}$$

其中，$\mu$ 表示对 hidden_states 求得的平均值，$ϵ$ 是一个很小的数，目的是防止 $\mu =0$ 时分母为0

Multi-head Attention

位置编码采用的是 Rope 旋转位置编码，首先需要生成一个逆频率向量：
$${\text{inv\_freq}}_i=\frac{1}{{\text{base}}^{\frac{2i}{d}}}$$
其中，d 代表总维度，base 通常取 10, 000。之后需要计算频率矩阵：
$$\begin{gathered} {\text{freqs}}_{\text{pos},i}=\text{pos}\cdot {\text{inv\_freq}}_i \\ {\text{emb}}_{\text{pos},i}=\{\begin{array}{rl}cos({\text{freqs}}_{\text{pos},i/2}),& i\text{是偶数}\\ sin({\text{freqs}}_{\text{pos},(i-1)/2}),& i\text{是奇数}\end{array} \end{gathered}$$
最后，应用旋转变换：
$$x^{\prime }=x\cdot cos(emb)+x_{\perp }\cdot sin(emb)$$

MLP 部分

LLama 论文中提到的是使用 SwiGLU 激活函数，但是 transformers 的实现中似乎并没有采用这种激活函数。

下游任务

激活函数，但是 transformers 的实现中似乎并没有采用这种激活函数。

下游任务

本质就是接一个线形层，利用不同的数据与损失函数针对不同下游任务进行训练。