大模型之模型架构（Datawhale一起学）

大模型之模型架构/新的模型架构篇（Datawhale一起学）

注意：文章内容参考了斯坦福CS324 - Large Language Models课程，以及Datawhale的一起学相关课程中的内容。

模型架构（第三章）总结：大模型的结构如何构建？主要由分词(Tokenization)和模型架构(主要是Transformer)构成。分词就是将自然语言转为机器语言的过程（可以这样理解），Transformer 是典型的编解码结构（encoder-decoder）。

新的模型架构（第四章）总结：是在第三章的基础上为了扩大模型规模，需要改进稠密Transformer。混合专家和基于检索的方法相结合更有效。如何设计更好的、可扩展的体系结构仍然是一个悬而未决的问题。
接下来就是满满的干货了

3.1 大模型之模型概括

对于初学者，为了更好的了解整体的功能结构（而不从一开始就陷入局部的结构细节）我们可以将大模型看成一个黑箱，即输入提示（prompt）输出(completion)符合需求的结果：
$$prompt\stackrel{model}{⇝}completionormodel(prompt)=completion$$
将着重讨论两个主题，分别是分词和模型架构：

• 分词（Tokenization）：即如何将一个字符串拆分成多个词元。
• 模型架构（Model architecture）：我们将主要讨论Transformer架构，这是真正实现大型语言模型的建模创新

3.2 分词

我们知道语言模型 $p$ 是建立在词元（token）序列的上的一个概率分布输出，其中每个词元来自某个词汇表$V$，如下的形式。

[the, mouse, ate, the, cheese]

Tips: 词元(token)一般在NLP（自然语言处理）中来说，通常指的是一个文本序列中的最小单元，可以是单词、标点符号、数字、符号或其他类型的语言元素。通常，对于NLP任务，文本序列会被分解为一系列的tokens，以便进行分析、理解或处理。在英文中一个"token"可以是一个单词，也可以是一个标点符号。在中文中，通常以字或词作为token（这其中就包含一些字符串分词的差异性，将在后续内容中讲到）。

然而，自然语言并不是以词元序列的形式出现，而是以字符串的形式存在（具体来说，是Unicode字符的序列），比如上面的序列的自然语言为“the mouse ate the cheese”。

分词器将任意字符串转换为词元序列：

• 英文示例： the mouse ate the cheese. $\Rightarrow [the,mouse,ate,the,cheese,.]$
• 中文示例：小明看到湖岸上的花草，一株不知名的小花引起了他的注意$\Rightarrow [小明,看到,湖岸,上的,花,草，一株,不知名的,小花,引起了,他的,注意]$

Tips: 熟悉计算机的可能清晰字符串和序列的差异性，这里只做一个简要的说明。
字符串：所以字母、符号和空格都是这这个字符串的一部分。
词元序列：由多个字符串组成（相当于把一个字符串分割为了多了子字符串，每个子字符串是一个词元）

这里需要注意的是，虽然这部分并不一定是语言建模中最引人注目的部分，但在确定模型的工作效果方面起着非常重要的作用。我们也可以将这个方式理解为自然语言和机器语言的一种隐式的对齐，也可能是大家对于语言模型可能开始接触的时候最困惑的地方，特别是做机器学习相关的人员，因为我们所日常了解的输入需要是数值的，从而才能在模型中被计算，所以，如果输入是非数值类型的字符串是怎么处理的呢？

接下来我们就一步一步来看.

Tips:为什么说是“隐式的对齐”，这是由于每一个词在模型中，都有一个其确定的词向量。

3.2.1 基于空格的分词

可视化的词编码：https://observablehq.com/@simonw/gpt-tokenizer
此方法对于英文比较友好，中文就不太好。
分词，其实从字面很好理解，就是把词分开，从而方便对于词进行单独的编码，对于英文字母来说，由于其天然的主要由单词+空格+标点符号组成，最简单的解决方案是使用text.split(’ ')方式进行分词，这种分词方式对于英文这种按照空格，且每个分词后的单词有语义关系的文本是简单而直接的分词方式。然而，对于一些语言，如中文，句子中的单词之间没有空格，例如
$$\text{"小明看到湖岸上的花草，一株不知名的小花引起了他的注意。"}$$

目前从直觉和工程实践的角度来说，什么样的分词才是好的：

• 不能产生太多词元，否则序列会变得难以建模
• 不能产生太少的词元，否则单词之间无法共享参数
• 每个词元应该是在语言学上或统计学上有意义的单位

3.2.2 字节对编码 (Byte Pair Encoding)

将字节对编码（BPE）算法应用于数据压缩领域，用于生成其中一个最常用的分词器。BPE分词器需要通过模型训练数据进行学习，获得需要分词文本的一些频率特征。
such as ：
Input:

I = [['the car','the cat','the rat']]

Step1. 对输入input的每一项进行切分：

[['t', 'h', 'e', '$\space$', 'c', 'a', 'r'],
['t', 'h', 'e', '$\space$', 'c', 'a', 't'],
['t', 'h', 'e', '$\space$', 'r', 'a', 't']]

对于着三个切分后的集合我们求其并集，

$V$=['t','h','e',' ','c','a','r','t']。

在此基础上我们假设期望继续扩充$V$,我们找$V$中共同出现次数最多的元素对 $x,x^{\prime }$:
我们找到$V$中共同出现次数最多的元素对 $x,x^{\prime }$，我们发现’t’和’h’按照’th’形式一起出现了三次，‘h’和’e’按照’he’形式一起出现了三次，我们可以随机选择其中一组，假设我们选择了’th’。
接下来，继续执行. 用一个新的符号 $x{x}^{\prime }$ 替换所有 $x,x^{\prime }$ 的出现：
将之前的序列更新如下：(th 出现了 3次)

[[th, e, $\sqcup$, c, a, r], 
[th, e, $\sqcup$, c, a, t],
[th, e, $\sqcup$, r, a, t]] 

最后我们再执行 添加. 将$x{x}^{\prime }$ 添加到V中：
从而得到了一次更新后的词汇表

$V$=['t','h','e',' ','c','a','r','t','th']。

接下来如此往复：

1. [the, $\bigsqcup ,c,a,r]$, [the, $\bigsqcup ,c,a,t],[$ the, $\bigsqcup ,r,a,t]$ (the 出现了 3次)

2. [the, $\bigsqcup ,ca,r]$, [the, $\bigsqcup ,ca,t],[$ the, $\bigsqcup ,ra,t]$ (ca 出现了 2次)

3.2.2.1 Unicode的问题

Unicode（统一码）是当前主流的一种编码方式。其中这种编码方式对BPE分词产生了一个问题（尤其是在多语言环境中），Unicode字符非常多（共144,697个字符）。在训练数据中我们不可能见到所有的字符。
为了进一步减少数据的稀疏性，我们可以对字节而不是Unicode字符运行BPE算法（Wang等人，2019年）。
以中文为例：

$$\text{ 今天}\Rightarrow \text{[x62, x11, 4e, ca]}$$

BPE算法在这里的作用是为了进一步减少数据的稀疏性。通过对字节级别进行分词，可以在多语言环境中更好地处理Unicode字符的多样性，并减少数据中出现的低频词汇，提高模型的泛化能力。通过使用字节编码，可以将不同语言中的词汇统一表示为字节序列，从而更好地处理多语言数据。

3.3模型架构

3.3.1 上下文向量表征 (Contextual Embedding）

上下文向量表征 (Contextual Embedding): 作为先决条件，主要的关键发展是将词元序列与相应的上下文的向量表征：

$$[the,mouse,ate,the,cheese]\stackrel{\varphi }{\Rightarrow }\left[\left(\begin{array}{c}1\\ 0.1\end{array}\right),\left(\begin{array}{l}0\\ 1\end{array}\right),\left(\begin{array}{l}1\\ 1\end{array}\right),\left(\begin{array}{c}1\\ -0.1\end{array}\right),\left(\begin{array}{c}0\\ -1\end{array}\right)\right].$$

正如名称所示，词元的上下文向量表征取决于其上下文（周围的单词）；例如，考虑mouse的向量表示需要关注到周围某个窗口大小的其他单词。

• 符号表示：我们将 $\varphi :V^L\to R^{d\times L}$ 定义为嵌入函数（类似于序列的特征映射，映射为对应的向量表示）。

• 对于词元序列 $x1:L=[x_1,\dots ,x_L]$，$\varphi$ 生成上下文向量表征 $\varphi (x_{1:L})$。

3.3.2 语言模型分类

• 编码端（Encoder-Only）
• 解码端（Decoder-Only）
• 编码-解码端（Encoder-Decoder）

3.3.2.1 编码端（Encoder-Only）

编码端主要用来生成上下文向量表征，但不能直接用于生成文本。可以表示为， $x_{1:L}\Rightarrow \varphi (x_{1:L})$ 。这些上下文向量表征通常用于分类任务（也被称为自然语言理解任务）。任务形式比较简单，下面以情感分类/自然语言推理任务举例：

$$情感分析输入与输出形式：[[CLS],他们,移动,而,强大]\Rightarrow 正面情绪$$

$$自然语言处理输入与输出形式：[[CLS],所有,动物,都,喜欢,吃,饼干,哦]\Rightarrow 蕴涵$$

该架构的优势是对于文本的上下文信息有更好的理解，因此该模型架构才会多用于理解任务。

3.3.2.2 解码器（Decoder-Only）

解码器架构的著名模型就是大名鼎鼎的GPT系列模型。这些是我们常见的自回归语言模型，给定一个提示
$x_{1:i}$ ，它们可以生成上下文向量表征，并对下一个词元 $x_{i+1}$ （以及递归地，整个完成
$x_{i+1:L}$） 生成一个概率分布。 $x_{1:i}\Rightarrow \varphi (x_{1:i}),p(x_{i+1}\mid x_{1:i})$ 。我们以自动补全任务来说，输入与输出的形式为， $[[CLS],他们,移动,而]\Rightarrow 强大$ 。与编码端架构比，其优点为能够自然地生成完成文本，有简单的训练目标（最大似然）。缺点也很明显，对于每个 $xi$ ，上下文向量表征只能单向地依赖于左侧上下文 ($x_{1:i-1}$) 。

3.3.2.3 编码-解码端（Encoder-Decoder）

编码-解码端架构就是最初的Transformer模型，其他的还有如BART、T5等模型。这些模型在某种程度上结合了两者的优点：它们可以使用双向上下文向量表征来处理输入 $x_{1:L}$ ，并且可以生成输出 $y_{1:L}$ 。可以公式化为：

$$x1:L\Rightarrow \varphi (x1:L),p(y1:L\mid \varphi (x1:L))。$$

以表格到文本生成任务为例，其输入和输出的可以表示为：

$$[名称:,植物,|,类型:,花卉,商店]\Rightarrow [花卉,是,一,个,商店]。$$

该模型的具有编码端，解码端两个架构的共同的优点，对于每个 $x_i$ ，上下文向量表征可以双向地依赖于左侧上下文 $x_{1:i-1}$ ) 和右侧上下文 ( $x_{i+1:L}$ )，可以自由的生成文本数据。缺点就说需要更多的特定训练目标。

3.4 大模型基础理论

3.4.1 基础架构

首先需要介绍将词元序列转换为向量序列的函数。EmbedToken()函数将词元序列中的每个词元转化为每个词元对应的向量（上下文无关）：

$EmbedToken(x_{1:L}:V^L)\to R^{d\times L}$ ：

• 将序列 $x_{1:L}$ 中的每个词元 $xi$ 转换为向量。
• 返回[Ex1,…,ExL]。

3.4.2 RNN(递归神经网络)

第一个真正的序列模型是递归神经网络（RNN），它是一类模型，包括简单的RNN、LSTM和GRU。基本形式的RNN通过递归地计算一系列隐藏状态来进行计算。

$SequenceRNN(x:R^{d\times L})\to R^{d\times L}$ ：

• 从左到右处理序列 $x_1,\dots ,x_L$ ，并递归计算向量 $h_1,\dots ,h_L$ 。
• 对于 $i=1,\dots ,L$ ：
  • 计算 $h_i=RNN(h_{i-1},x_i)$ 。
  • 返回 $[h_1,\dots ,h_L]$ 。

实际完成工作的模块是RNN，类似于有限状态机，它接收当前状态h、新观测值x，并返回更新后的状态：

$RNN(h:R^d,x:R^d)\to R^d$ ：

• 根据新的观测值x更新隐藏状态h。
• [抽象实现（例如，SimpleRNN，LSTM，GRU）]

注意：

• 简单RNN由于梯度消失的问题很难训练。
• 为了解决这个问题，发展了长短期记忆（LSTM）和门控循环单元（GRU）（都属于RNN）。
• 然而，即使嵌入h200可以依赖于任意远的过去（例如，x1），它不太可能以“精确”的方式依赖于它（更多讨论，请参见Khandelwal等人，2018）。
• 从某种意义上说，LSTM真正地将深度学习引入了NLP领域。

3.4.3 Tranformer

Transformer（Vaswani等人，2017），这是真正推动大型语言模型发展的序列模型。正如之前所提到的，Transformer模型将其分解为Decoder-Only（GPT-2，GPT-3）、Encoder-Only（BERT，RoBERTa）和Encoder-Decoder（BART，T5）模型的构建模块。

关于Transformer的学习资源有很多：

• Illustrated Transformer和Illustrated GPT-2：对Transformer的视觉描述非常好。
• Annotated Transformer：Transformer的Pytorch实现。

强烈建议您阅读这些参考资料。该课程主要依据代码函数和接口进行讲解。

3.4.3.1 注意力机制

Transformer的关键是注意机制，这个机制早在机器翻译中就被开发出来了（Bahdananu等人，2017）。可以将注意力视为一个“软”查找表，其中有一个查询 $y$，我们希望将其与序列 $x_{1:L}=[x_1,\dots ,x_L]$ 的每个元素进行匹配。我们可以通过线性变换将每个 $x_i$ 视为表示键值对：

$$(W_{key}{x}_i)：(W_{value}{x}_i)$$

并通过另一个线性变换形成查询：

$$W_{query}y$$

可以将键和查询进行比较，得到一个分数：

$$scor{e}_i=x_i^{\top }{W}_{key}^{\top }{W}_{query}y$$

这些分数可以进行指数化和归一化，形成关于词元位置$1,\dots ,L$的概率分布：

$$[{\alpha }_1,\dots ,{\alpha }_L]=softmax([scor{e}_1,\dots ,scor{e}_L])$$

然后最终的输出是基于值的加权组合：

$$\sum _{i=1}^L{\alpha }_i\left(W_{value}{x}_i\right)$$
tips: 这点可以看李沐的动手学深度学习讲的很好

3.4.3.2 残差连接和归一化

残差连接：计算机视觉中的一个技巧是残差连接（ResNet）。我们不仅应用某个函数f：

$$f(x1:L)，$$
而是添加一个残差（跳跃）连接，以便如果$f$的梯度消失，梯度仍然可以通过 $x_{1:L}$ 进行计算：

$$x_{1:L}+f(x_{1:L})。$$

层归一化:另一个技巧是层归一化，它接收一个向量并确保其元素不会太大：

$LayerNorm(x_{1:L}:R^{d\times L})\to R^{d\times L}$ ：

• 使得每个 $x_i$ 既不太大也不太小。

我们首先定义一个适配器函数，该函数接受一个序列模型$f$并使其“鲁棒”：

$AddNorm(f:(R{d}^{\times L}\to R^{d\times L}),x_{1:L}:R_{d\times L})\to R^{d\times L}$ ：

• 安全地将f应用于 $x_{1:L}$ 。
• 返回 $LayerNorm(x_{1:L}+f(x_{1:L}))$ 。

4 新的模型架构

这里就讲了改进transformer的过程

4.1 混合专家模型

4.1.1 基础知识

混合专家的想法可以追溯到Jacobs et al. (1991)。

为了介绍基本思想，假设我们正在解决一个预测问题：

$$x\in {\mathbb{R}}^d\Rightarrow y\in {\mathbb{R}}^d.$$

让我们从学习前馈（ReLU）神经网络开始：

$$h_{\theta }(x)=W_2\max (W_{1}x,0),$$

其中参数为 $\theta =(W_1,W_2)$ 。

• 然而，这个函数可能表达能力不足。
• 我们可以使神经网络更宽或更深。

但专家的混合方法是：

• 定义 $E$ 个专家。

• 每个专家 $e=1,\dots ,E$ 都具有自己的嵌入 $w_e\in {\mathbb{R}}^d$ 。

• 将门控函数定义为 $E$ 个专家上的概率分布：

$$g_e(x)=\frac{\exp (w_e\cdot x)}{{\sum }_{e^{\prime }=1}^E\exp (w_{e^{\prime }}\cdot x)}.$$

• 每个专家 $e=1,\dots ,E$ 都具有自己的参数 ${\theta }^{(e)}=(W_1^{(e)},W_2^{(e)})$ 。

• 根据专家特定参数定义每个专家函数：

$$h_{{\theta }_e}(x)=W_2^{(e)}\max (W_1^{(e)}x,0).$$

• 将最终函数定义为专家的混合：

$$f(x)=\sum _{e=1}^E\underset{\text{gating}}{\underbrace{g_e(x)}}\underset{\text{expert}}{\underbrace{h_{{\theta }_e}(x)}}.$$