生产实习——Day12

大模型

认识NLP

什么是NLP

​ NLP（Natural Language Processing），即“自然语言处理”，主要研究使用计算机来处理、理解及运用人类语言的各种理论和方法，属于人工智能的一个重要研究方向。

​ 简单来说，NLP就是如何让计算机理解人类语言。

NLP的主要研究方向

​ NLP是一个庞大的技术体系，研究方向主要包括机器翻译、信息检索、文档分类、问答系统、自动摘要、文本挖掘、知识图谱、语音识别、语音合成等。

​ 相较于CNN重点应用于计算机视觉领域，RNN则更多地应用于NLP方向。

词汇表征

什么是词汇表征

​ 在NLP中，最细粒度的表示就是词语，但是计算机并不能直接识别词语，需要将词语转化为计算机可识别的数值形式，这种对词语的转化和表征就是“词汇表征”。

​

词汇表征的种类

• one-hot编码

​ 缺点：维数灾难、不能很好地获取词汇间的相似性

• 词嵌入(Word Embedding)

​ 将词汇表中的每个单词表示为一个合理的普通向量，word2vec是典型的词嵌入技术

word2vec介绍

​ word2vec是一种基于神经网络的词嵌入技术，通过训练神经网络得到一个关于输入X和输出Y之间的语言模型，获取训练好的神经网络权重，这个权重是用来对输入词汇X进行向量化表示的。

word2vec的两种模型

• CBOW模型

​ CBOW（Continuous Bag-of-Words Model），即“连续词袋模型”，其应用场景是根据上下文预测中间词，输入X是每个词汇的one-hot向量，输出Y为给定词汇表中每个词作为目标词的概率。

• Skip-gram模型

​ 也称为"跳字模型"，应用场景是根据中间词预测上下文词，所以输入X为任意单词，输出Y为给定词汇表中每个词作为上下文词的概率。

全连接神经网络

全连接神经网络

​ 全连接神经网络是一种连接方式较为简单的人工神经网络结构，某一层的任意一个节点，都和上一层所有节点相连接。

感知器工作机制

​ 感知器即单层神经网络，也即"人工神经元"，是组成神经网络的最小单元

神经网络的激活函数

​

​ 在神经网络中可以引入非线性激活函数，这样就可以使得神经网络可以对数据进行非线性变换，解决线性模型的表达能力不足的问题。

常见的激活函数

• Sigmoid激活函数

$$y=\frac{1}{1+e^{-x}}$$

-home.csdnimg.cn/images/20230724024159.png?origin_url=imgs%5Cimage-20220612171215932.png&pos_id=img-jVrGMIz7-1718846263575)

• Relu激活函数

$$y=max(0,x)$$

• tanh激活函数

$$y=\frac{e^x-e^{-x}}{e^x+e^{-x}}=\frac{1-e^{-2x}}{1+e^{-2x}}$$

• Softmax激活函数

$$p_l=\frac{e^{z_l}}{{\sum }_{j=1}^k{e}^{z_j}}$$

Softmax激活函数计算的结果是各个分类的预测概率值，常用于多分类问题

神经网络的过拟合问题

​

​

​ 神经网络因为隐藏层的存在可以实现复杂的非线性拟合功能。但随着神经网络层数加深，神经网络很容易发生过拟合现象（在训练集上表现很好，在未知的测试集上表现很差，即“泛化能力差”）。

解决神经网络过拟合问题的方法

• 正则化

​ 与很多机器学习算法一样，可以在待优化的目标函数上添加正则化项（例如L1、L2正则），可以在一定程度减少过拟合的程度。

• Dropout（随机失活）

​ 可以将Dropout理解为对神经网络中的每一个神经元加上一道概率流程，使得在神经网络训练时能够随机使某个神经元失效。

20220612175327706.png&pos_id=img-l1VADwQy-1718846263577)

**注意： **

• 对于不同神经元个数的神经网络层，可以设置不同的失活或保留概率
• 如果担心某些层所含神经元较多或比其他层更容易发生过拟合，则可以将该层的失活概率设置得更高一些

前向传播与反向传播

前向传播

​ 计算输出值的过程称为“前向传播”：将上一层的输出作为下一层的输入，并计算下一层的输出，一直到运算到输出层为止。

反向传播（Back Propagation,BP）

​ 反向传播（BP）说白了根据根据J的公式对W和b求偏导，也就是求梯度。因为我们需要用梯度下降法来对参数进行更新，而更新就需要梯度。

**总结： **

前向传播得到输出，反向传播调整参数，最后以得到损失函数最小时的参数为最优学习参数。

RNN介绍

认识RNN

​ RNN(Recurrent Neural Network)，即"循环神经网络"，是在基础神经网络模型中增加了循环机制。具体的表现形式为网络会对前面的信息进行记忆并应用于当前的计算中，即当前时刻利用了上一时刻的信息，这便是“循环”的含义。

RNN的应用领域

• 语音识别
• OCR识别(optical character recognition)
• 机器翻译
• 文本分类
• 视频动作识别
• 序列标注

常见的RNN模型

LSTM

认识LSTM

​ LSTM是Long-Short Term Memory的缩写，中文名叫长短期记忆网络，它是RNN的改进版本。为了更好地解决“梯度爆炸”和“梯度消失”的问题，让RNN具备更强、更好的记忆，于是就出现了LSTM。

LSTM的“门结构”

​ LSTM的关键就是记忆细胞（在最上面的贯穿水平线上）。记忆细胞提供了记忆的功能，使得记忆信息在网络各层之间很容易保持下去。

• 遗忘门（Forget Gate）

​ 遗忘门的作用是控制t-1时刻到t时刻时允许多少信息进入t时刻的门控设备

​ 遗忘门的计算公式如下：
$${\Gamma }_t^f=\sigma (w_f[a_{t-1},x_t]+b_f)$$
​ 其中,x_t是当前时刻的输入，a_t-1是上一时刻隐状态的值

• 输入门（Input Gate）

​ 输入门的作用是确定需要将多少信息存入记忆细胞中。除了计算输入门外，还需要使用tanh计算记忆细胞的候选值c^'_t

$$\begin{gathered} {\Gamma }_t^i=\sigma (w_i[a_{t-1},x_t]+b_i) \\ {c}_t^{\prime }=tanh(w_c[a_{t-1},x_t]+b_c) \end{gathered}$$
​ 然后，就可以对当前时刻的记忆细胞进行更新了
$$c_t={\Gamma }_t^f{c}_{t-1}+{\Gamma }_t^i{c}_t^{\prime }$$

• 输出门（Output Gate）

​ 输出门是用来控制t时刻状态值对外多少是可见的门控设备

​ 输出门与t时刻隐层节点输出值得公式为：
$$\begin{gathered} {\Gamma }_t^o=\sigma (w_o[a_{t-1},x_t]+b_o) \\ {a}_t={\Gamma }_t^{o}tanh(c_t) \end{gathered}$$

Seq2Seq模型

Seq2Seq表现形式

​ 在RNN的结构中，最常见的就是不等长的多对多结构，即输入、输出虽然都是多个，但是并不相等。这种不等长的多对多结构就是Seq2Seq（序列对序列）模型。

​ 例如，汉译英的机器翻译时，输入的汉语句子和输出的英文句子很多时候并不是等长的，这时就可以用Seq2Seq模型了。

Encoder+Decoder

​ Seq2Seq由一个编码器（Encoder）和一个解码器（Decoder）构成，编码器先将输入序列转化为一个上下文向量C（理解序列），然后再用一个解码器将C转化为最终输出（生成序列）。

• 编码器（Encoder）

• 解码器（Decoder）

  ​

Attention模型

引入Attention模型的必要性

​ Seq2Seq作为一种通用的编码-解码结构，在编码器将输入编码成上下文向量C后，在解码时每一个输出Y都会不加区分地使用这个C进行解码，这样并不能有效地聚焦到输入目标上。

​

Seq2Seq+Attention模型

​ Seq2Seq引入Attention模型后，Attention模型（注意力模型）通过描述解码中某一时间步的状态值和所有编码中状态值的关联程度（即权重），计算出对当前输出更友好的上下文向量，从而对输入信息进行有选择性的学习。

$$\begin{gathered} y_1=f(C_1) \\ {y}_2=f(C_2,y_1) \\ {y}_3=f(C_3,y_1,y_2) \\ ... \end{gathered}$$

大模型的预训练与微调

预训练

​ 预训练（Pre-training）是语言模型学习的初始阶段。在预训练期间，模型会接触到大量未标记的文本数据，例如书籍、文章和网站。在大量未标记文本数据上训练语言模型。比如说在包含数百万本书、文章和网站的数据集上预训练像 GPT-3 这样的语言模型。预训练目标是捕获文本语料库中存在的底层模式、结构和语义知识。

​ 预训练（Pre-training）是指在目标任务之前，使用大规模数据集和无监督学习的方法对模型进行初始训练。在预训练阶段，模型通过学习输入数据的内部表示来获取知识和特征，以便在后续的具体任务上进行微调或迁移学习。

预训练通常是在无标签数据上进行的，这意味着训练数据不带有人工标注的目标输出。这种无监督的学习过程使得模型可以从大规模数据中提取有用的特征和模式，而无需人工标注的标签信息。

预训练的主要目的是通过大规模无监督学习来为模型提供初始的参数和表示。通常采用的方法是自编码器（autoencoder）或生成对抗网络（generative adversarial network, GAN）等。这些方法可以通过最大化数据的重构误差或通过生成与真实数据相似的样本来学习有效的特征表示。

预训练的主要特点：

• 无监督学习：预训练通常是一个无监督学习过程，模型在没有明确指导或标签的情况下从未标记的文本数据中学习。
• Masked Language Modeling：模型经过训练以预测句子中缺失或屏蔽的单词，学习上下文关系并捕获语言模式。
• Transformer 架构：预训练通常采用基于 Transformer 的架构，因为这种架构擅长捕获远程依赖关系和上下文信息。

​ 总的来说，预训练是一种利用大规模无监督学习的方法，通过学习数据的内部表示来为模型提供初始参数和特征表示，为后续的具体任务提供更好的初始状态，从而提高模型的性能和泛化能力。

微调

​ 微调（Fine-Tuning）是在特定任务或领域上进一步训练大型语言模型(LLM)的过程。这可以通过使用预训练的LLM作为起点，然后在特定任务或领域的标记数据集上训练它来完成。微调可以通过调整模型的权重来更好地拟合数据，从而提高LLM在特定任务或领域上的性能。

  微调（Fine-tuning）是指在预训练（Pre-training）阶段之后，使用特定任务的有标签数据对模型进行进一步的训练和调整参数，以使其在目标任务上获得更好的性能。

在微调过程中，预训练得到的模型参数作为初始状态，然后在特定任务的有标签数据上进行训练。通常，只有少量的有标签数据可用于微调，这使得模型能够更好地适应目标任务的特定要求。

微调的关键是调整预训练模型的参数，以使其更好地适应目标任务的特定领域或数据分布。这个过程通常包括以下几个步骤：

• 冻结部分参数：为了保持预训练模型的初始表示能力，通常会冻结部分参数，特别是底层的参数，使其在微调过程中保持不变。这样可以避免较大的参数更新，防止过度调整模型的初始表示。
• 更新顶层参数：针对目标任务的特定要求，通常会添加一个或多个新的层，这些层称为顶层（top layers）。这些顶层将与预训练模型连接，并根据目标任务的标签数据进行训练。在微调过程中，主要是更新这些顶层参数，以使其适应目标任务的特定输出。
• 调整参数：在微调过程中，通过反向传播算法和优化方法（如随机梯度下降），根据目标任务的损失函数来调整模型的参数。由于预训练模型已经通过大规模无监督学习进行了初始化，微调过程通常只需要较少的训练数据和较少的迭代次数。
  微调的目标是将预训练模型的泛化能力与目标任务的特定要求相结合，从而获得更好的性能。通过使用预训练模型的特征表示和参数初始化，微调可以加快模型在目标任务上的收敛速度，并提供更好的泛化能力。

  Encoder-Decoder框架

​ Encoder-Decoder框架是一种深度学习领域的研究模式，应用场景非常广泛。上图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。

​ 文本处理领域的Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对<Source,Target>，我们的目标是给定输入句子Source，期待通过Encoder-Decoder框架来生成目标句子Target。Source和Target可以是同一种语言，也可以是两种不同的语言。而Source和Target分别由各自的单词序列构成：

​ Encoder顾名思义就是对输入句子Source进行编码，将输入句子通过非线性变换转化为中间语义表示C：

​ 对于解码器Decoder来说，其任务是根据句子Source的中间语义表示C和之前已经生成的历史信息y₁,y₂,…y_i-1来生成i时刻要生成的单词y_i：

​ 每个y_i都依次这么产生，那么看起来就是整个系统根据输入句子Source生成了目标句子Target。如果Source是中文句子，Target是英文句子，那么这就是解决机器翻译问题的Encoder-Decoder框架；如果Source是一篇文章，Target是概括性的几句描述语句，那么这是文本摘要的Encoder-Decoder框架；如果Source是一句问句，Target是一句回答，那么这是问答系统或者对话机器人的Encoder-Decoder框架。由此可见，在文本处理领域，Encoder-Decoder的应用领域相当广泛。

Attention模型

引例：

​ 图书管（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。

​ 为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。

Attention机制的本质思想：

​ 本质上Attention机制是对Source中元素（将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成）的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。即可以将其本质思想改写为如下公式：

其中，L_x代表Source的长度，公式含义即如上所述。上文所举的机器翻译的例子里，因为在计算Attention的过程中，Source中的Key和Value合二为一，指向的是同一个东西，也即输入句子中每个单词对应的语义编码，所以可能不容易看出这种能够体现本质思想的结构。

Attention 原理的3步分解：

第一步： query 和 key 进行相似度计算，得到权值

第二步：将权值进行归一化，得到直接可用的权重

第三步：将权重和 value 进行加权求和

Self Attention自注意力模型

​ 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容

是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是

对应的翻译出的中文句子，Attention机制发生在Target的元素Query和

Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和

Source之间的Attention机制，而是Source内部元素之间或者Target内部元

素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下

的注意力计算机制。其具体计算过程是一样的，只是计算对象发生了变化而

已。

​ 引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。

自注意力示例

​ 也就是说，The这个词的表示，实际上是整个序列加权求和的结果——权重从哪来？点积之后Softmax得到——这里Softmax(QK)就是求权重的体现。向量点积的值可以表征词与词之间的相似性，而此处的“整个序列”包括The这个词自己（再一次强调这是Self-Attention），所以最后输出的词的表示，其“主要成分”就主要地包含它自身和跟它相似的词的表示，其他无关的词的表示对应的权重就会比较低。

再看一例

The animal didn’t cross the street because it was too tired

这个句子中的 it 指的是什么？是指 animal 还是 street ？对人来说，这是一个简单的问题，但是算法来说却不那么简单。

当模型在处理 it 时，Self-Attention 机制使其能够将 it 和 animal 关联起来。

当模型处理每个词（输入序列中的每个位置）时，Self-Attention 机制使得模型不仅能够关注当前位置的词，而且能够关注句子中其他位置的词，从而可以更好地编码这个词。Transformer 使用 Self-Attention 机制将其他词的理解融入到当前词中。

Transformer模型

​ Transformer模型是在论文《Attention Is All You Need》里面提出来的，用来生成文本的上下文编码，传统的上下问编码大多数是由RNN来完成的，不过，RNN很难处理相隔比较远的两个单词之间的信息。

基本原理

Transformer 是一种使用注意力机制（attention mechanism）的神经网络模型，能够有效地处理序列数据，如句子或文本。

它的设计灵感来自于人类在理解上下文时的方式。

简单来说，Transformer 会将输入的序列分成若干个小块，并通过计算注意力得分来决定每个块在输出中的重要性。

它能够同时处理整个序列，而不需要依赖循环神经网络（RNN）等逐步处理的方法。

• Transformer模型中包含了多层encoder和decoder，每一层都由多个注意力机制模块和前馈神经网络模块组成。encoder用于将输入序列编码成一个高维特征向量表示，decoder则用于将该向量表示解码成目标序列。
• Transformer模型的核心是自注意力机制（Self-Attention Mechanism），其作用是为每个输入序列中的每个位置分配一个权重，然后将这些加权的位置向量作为输出。

Encoder-Decoder框架

​ Encoder-Decoder框架是一种深度学习领域的研究模式，应用场景非常广泛。上图是文本处理领域里常用的Encoder-Decoder框架最抽象的一种表示。

​ 文本处理领域的Encoder-Decoder框架可以这么直观地去理解：可以把它看作适合处理由一个句子（或篇章）生成另外一个句子（或篇章）的通用处理模型。对于句子对<Source,Target>，我们的目标是给定输入句子Source，期待通过Encoder-Decoder框架来生成目标句子Target。Source和Target可以是同一种语言，也可以是两种不同的语言。而Source和Target分别由各自的单词序列构成：

​ Encoder顾名思义就是对输入句子Source进行编码，将输入句子通过非线性变换转化为中间语义表示C：

​ 对于解码器Decoder来说，其任务是根据句子Source的中间语义表示C和之前已经生成的历史信息y₁,y₂,…y_i-1来生成i时刻要生成的单词y_i：

​ 每个y_i都依次这么产生，那么看起来就是整个系统根据输入句子Source生成了目标句子Target。如果Source是中文句子，Target是英文句子，那么这就是解决机器翻译问题的Encoder-Decoder框架；如果Source是一篇文章，Target是概括性的几句描述语句，那么这是文本摘要的Encoder-Decoder框架；如果Source是一句问句，Target是一句回答，那么这是问答系统或者对话机器人的Encoder-Decoder框架。由此可见，在文本处理领域，Encoder-Decoder的应用领域相当广泛。

Attention模型

引例：

​ 图书管（source）里有很多书（value），为了方便查找，我们给书做了编号（key）。当我们想要了解漫威（query）的时候，我们就可以看看那些动漫、电影、甚至二战（美国队长）相关的书籍。

​ 为了提高效率，并不是所有的书都会仔细看，针对漫威来说，动漫，电影相关的会看的仔细一些（权重高），但是二战的就只需要简单扫一下即可（权重低）。当我们全部看完后就对漫威有一个全面的了解了。

Attention机制的本质思想：

​ 本质上Attention机制是对Source中元素（将Source中的构成元素想象成是由一系列的<Key,Value>数据对构成）的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。即可以将其本质思想改写为如下公式：

其中，L_x代表Source的长度，公式含义即如上所述。上文所举的机器翻译的例子里，因为在计算Attention的过程中，Source中的Key和Value合二为一，指向的是同一个东西，也即输入句子中每个单词对应的语义编码，所以可能不容易看出这种能够体现本质思想的结构。

Attention 原理的3步分解：

第一步： query 和 key 进行相似度计算，得到权值

第二步：将权值进行归一化，得到直接可用的权重

第三步：将权重和 value 进行加权求和

Self Attention自注意力模型

​ 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容

是不一样的，比如对于英-中机器翻译来说，Source是英文句子，Target是

对应的翻译出的中文句子，Attention机制发生在Target的元素Query和

Source中的所有元素之间。而Self Attention顾名思义，指的不是Target和

Source之间的Attention机制，而是Source内部元素之间或者Target内部元

素之间发生的Attention机制，也可以理解为Target=Source这种特殊情况下

的注意力计算机制。其具体计算过程是一样的，只是计算对象发生了变化而

已。

​ 引入Self Attention后会更容易捕获句子中长距离的相互依赖的特征，因为如果是RNN或者LSTM，需要依次序序列计算，对于远距离的相互依赖的特征，要经过若干时间步步骤的信息累积才能将两者联系起来，而距离越远，有效捕获的可能性越小。

自注意力示例

​ 也就是说，The这个词的表示，实际上是整个序列加权求和的结果——权重从哪来？点积之后Softmax得到——这里Softmax(QK)就是求权重的体现。向量点积的值可以表征词与词之间的相似性，而此处的“整个序列”包括The这个词自己（再一次强调这是Self-Attention），所以最后输出的词的表示，其“主要成分”就主要地包含它自身和跟它相似的词的表示，其他无关的词的表示对应的权重就会比较低。

再看一例

The animal didn’t cross the street because it was too tired

这个句子中的 it 指的是什么？是指 animal 还是 street ？对人来说，这是一个简单的问题，但是算法来说却不那么简单。

当模型在处理 it 时，Self-Attention 机制使其能够将 it 和 animal 关联起来。

当模型处理每个词（输入序列中的每个位置）时，Self-Attention 机制使得模型不仅能够关注当前位置的词，而且能够关注句子中其他位置的词，从而可以更好地编码这个词。Transformer 使用 Self-Attention 机制将其他词的理解融入到当前词中。

Transformer模型

​ Transformer模型是在论文《Attention Is All You Need》里面提出来的，用来生成文本的上下文编码，传统的上下问编码大多数是由RNN来完成的，不过，RNN很难处理相隔比较远的两个单词之间的信息。

基本原理

Transformer 是一种使用注意力机制（attention mechanism）的神经网络模型，能够有效地处理序列数据，如句子或文本。

它的设计灵感来自于人类在理解上下文时的方式。

简单来说，Transformer 会将输入的序列分成若干个小块，并通过计算注意力得分来决定每个块在输出中的重要性。

它能够同时处理整个序列，而不需要依赖循环神经网络（RNN）等逐步处理的方法。

• Transformer模型中包含了多层encoder和decoder，每一层都由多个注意力机制模块和前馈神经网络模块组成。encoder用于将输入序列编码成一个高维特征向量表示，decoder则用于将该向量表示解码成目标序列。
• Transformer模型的核心是自注意力机制（Self-Attention Mechanism），其作用是为每个输入序列中的每个位置分配一个权重，然后将这些加权的位置向量作为输出。