神经网络与深度学习课程总结（4）

一、循环神经网络与NLP

1. 序列模型

1.1 序列模型Part 1

• 定义与应用
  • 图像分类: 当前输入 -> 当前输出
  • 时间序列预测: 当前输入 + 过去输入 -> 当前输出

1.2 自回归模型

• 基本假设: 假设交易员预测股市表现，使用公式:
  $$x_t\sim P(x_t\mid x_{t-1},\dots ,x_1)$$

2. 数据预处理

2.1 特征编码

• 类型
  • 数值特征: 如年龄
  • 类别特征: 如性别 (男0, 女1), 国籍 (1 -> US, 2 -> China, …)

2.2 文本处理

• 按字母处理
  • 示例: “… to be or not to be…” 切分为 ['t', 'o', ' ', 'b', 'e', ...]
• 按单词处理
  • 示例: “… to be or not to be…” 切分为 ['to', 'be', 'or', 'not', 'to', 'be', ...]

3. 文本预处理与词嵌入

3.1 文本预处理

• 步骤:
  1. 将文本加载为字符串。
  2. 将字符串切分为词元。
  3. 建立字典映射词元到数字索引。
  4. 转换文本为数字索引序列。

3.2 词嵌入技术

• 定义: 将独热向量映射到低维向量。
• 公式: 映射矩阵:
  $$d\times v$$
  其中 $$d\ll v$$。

4. RNN模型与实现

4.1 RNN基本概念

• 模型结构
  • 输入: The cat sat on the mat
  • 如何使用RNN处理序列数据

4.2 RNN误差反传算法

• 关键公式
  • 隐状态更新:
    $$h_t=f(x_t,h_{t-1},w_h)$$
  • 输出计算:
    $$o_t=g(h_t,w_o)$$
  • 损失函数:
    $$L(x_1,\dots ,x_T,y_1,\dots ,y_T,w_h,w_o)=\frac{1}{T}\sum _{t=1}^{T}l(y_t,o_t)$$
  • 梯度计算:
    $$\frac{\partial L}{\partial w_h}=\frac{1}{T}\sum _{t=1}^T\frac{\partial l(y_t,o_t)}{\partial w_h}$$

循环神经网络（RNN）是处理序列数据如文本或时间序列的强大工具。我们将深入探讨RNN的几种高级形式，包括门控循环单元（GRU）、长短期记忆网络（LSTM）、深度循环神经网络和双向循环神经网络。这些网络设计用于更有效地处理序列数据中的长期依赖问题。

5. 门控循环单元 (GRU)

5.1 基本结构

GRU是为了解决传统RNN在处理长序列时难以学习长期依赖的问题而设计的。它引入了更新门和重置门这两个概念，以决定信息的保留与丢弃。

• 更新门:

  • 控制历史信息保留的比例，使得网络可以决定在多大程度上将旧的状态信息传递到未来状态。
  • 公式：$$R_t=\sigma (X_t{W}_{xr}+H_{t-1}{W}_{hr}+b_r)$$

• 重置门:

  • 确定过去的信息需要遗忘多少，有助于捕捉短期的依赖关系。
  • 公式：$$Z_t=\sigma (X_t{W}_{xz}+H_{t-1}{W}_{hz}+b_z)$$

5.2 候选隐状态和最终隐状态

• 候选隐状态是潜在可能成为新状态的信息，结合当前输入和通过重置门调整的过去状态生成。
• 公式：$${\tilde{H}}_t=\tanh (X_t{W}_{xh}+(R_t\odot H_{t-1})W_{hh}+b_h)$$
• 最终的隐状态由更新门控制，决定保留多少旧的状态和引入多少新的候选状态。
• 公式：$$H_t=Z_t\odot H_{t-1}+(1-Z_t)\odot {\tilde{H}}_t$$

6. 长短期记忆网络 (LSTM)

6.1 核心概念和结构

LSTM是GRU的前身，同样是为了处理长期依赖问题。它通过引入一个额外的记忆单元C_t来维护长期状态，有三个控制门：遗忘门、输入门和输出门。

• 遗忘门: 决定哪些信息被丢弃。
• 输入门: 更新记忆单元的哪些部分。
• 输出门: 决定下一隐状态的内容。
• 公式：
  • 遗忘门：$$f_t=\sigma (X_t{W}_{xf}+H_{t-1}{W}_{hf}+b_f)$$
  • 输入门：$$i_t=\sigma (X_t{W}_{xi}+H_{t-1}{W}_{hi}+b_i)$$
  • 记忆单元更新：$$C_t=f_t\odot C_{t-1}+i_t\odot {\tilde{C}}_t$$
  • 输出：$$H_t=o_t\odot \tanh (C_t)$$

7. 深度循环神经网络

7.1 概念和构造

在深度RNN中，多层网络被堆叠在一起，允许模型学习更复杂的表示。

• 公式：
  • $$H_t^j=f_j(H_{t-1}^j,H_t^{j-1})$$
  • 每层处理的隐状态可以提供给下一层，增加了模型的学习能力和复杂性。

8. 双向循环神经网络 (Bi-RNN)

8.1 双向结构

Bi-RNN允许信息在两个方向上流动（向前和向后），这为模型提供了过去和未来的上下文信息，非常适合于需要双向上下文的任务，如语音识别。

通过这些高级RNN架构，我们能够更精确地捕获序列数据中的时间动态和长期依赖，从而提高各种预测任务的性能。

二、生成对抗网络（GAN）

生成对抗网络（GAN）是一种非常有趣的深度学习模型，它通过两个神经网络的对抗过程来生成新的、与真实数据相似的数据。这种模型特别适用于图像生成、音乐创作、文本生成等领域。

1. GAN基本概念

1.1 什么是GAN？

• GAN是由两部分组成的：生成器（Generator）和判别器（Discriminator）。
• 生成器的目标是生成看起来真实的数据。
• 判别器的目标是区分真实数据和生成器产生的数据。

1.2 工作原理

• 生成器接收一个随机噪声，通过学习真实数据的分布，尝试生成与真实数据相似的新数据。
• 判别器评估接收到的样本是否真实，其训练目标是正确区分真实样本和假样本。
• 通过这种对抗过程，生成器和判别器相互竞争，不断改进，生成器学会制造越来越逼真的数据。

2. 判别模型与生成模型

2.1 判别模型

• 判别模型的目标是识别输入数据的类别或特征，常见于分类任务。

2.2 生成模型

• 生成模型的目标是了解如何生成数据的分布，它们可以生成新的数据实例，这是一种无监督学习。

3. GAN架构

3.1 简单的二维示例

• 考虑一个简单的数据集，其分布遵循某种规律（例如，二维空间中的正弦曲线）。
• 生成器试图学习这种分布，并生成新的数据点，希望这些点能够被判别器认为是真实的。
• 判别器评估样本是否来自真实数据集，输出一个概率值，表示样本为真实样本的可能性。

3.2 对抗训练

• 训练过程中，判别器和生成器进行对抗。
• 生成器的目标是增加判别器判断错误的概率。
• 判别器的目标是尽可能准确地识别真实和生成的样本。

4. 第一个GAN示例

4.1 设置和训练

• 使用PyTorch框架进行GAN的基础实现。
• 初始数据集是由正弦函数生成的二维点集。
• 通过训练，生成器学习如何创建符合真实数据分布的新数据点。

4.2 模型组件

• 生成器模型包括多层神经网络，接受随机噪声，输出生成数据。
• 判别器模型同样是一个神经网络，评估输入样本的真实性，输出概率。

4.3 训练动态

• 训练过程中，生成器和判别器的损失会显示网络学习的进度。
• 损失函数的变化反映了对抗过程的竞争性质。

5. 总结

生成对抗网络是一个强大的工具，它通过生成器和判别器的对抗学习过程，能够生成高质量的、逼真的合成数据。这使得GAN在艺术创作、新药开发、游戏环境设计等多个领域都有着广泛的应用前景。

三、Transformer模型

Transformer模型是自然语言处理（NLP）领域的一种革命性架构，特别在机器翻译和文本生成任务中表现出色。它由编码器和解码器组成，利用自注意力（Self-Attention）机制处理输入数据。

1. Transformer基本概念

1.1 什么是Transformer？

• Transformer模型主要用于处理序列到序列的任务，如语言翻译。
• 它不同于传统的循环神经网络（RNN），Transformer完全依赖于注意力机制来绘制输入和输出之间的全局依赖关系。

1.2 结构组成

• 编码器：包括多个相同的层，每层有两个子层。第一个子层是多头注意力机制，第二个子层是简单的位置全连接前馈网络。
• 解码器：也包括多个相同的层，除了编码器中的两个子层，解码器还在这两者之间插入第三个子层，用于注意编码器的输出。

2. 重要的公式和概念

2.1 词嵌入和位置编码

• 在处理输入时，Transformer首先将单词转换为词向量，然后通过位置编码来保持序列中词汇的顺序信息。

2.2 自注意力机制

• 自注意力允许模型同时处理不同位置的输入序列，为序列中的每个元素计算一个注意力分数。

公式：

1. 查询、键、值向量的计算：
   $$Q=W^{Q}X,K=W^{K}X,V=W^{V}X$$
   其中$W^Q,W^K,W^V$是权重矩阵，$X$是输入向量。

2. 注意力分数的计算：
   $$\text{Attention}(Q,K,V)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d_k}}\right)V$$
   其中$d_k$是键向量的维度，$\sqrt{d_k}$是一个缩放因子，防止内积过大导致梯度消失。

2.3 多头注意力

• 将注意力机制分为多个头部，每个头部学习输入数据的不同方面，然后将输出拼接并再次投影，以保留所有头部的信息。

公式：

$$\text{MultiHead}(Q,K,V)=\text{Concat}({\text{head}}_1,\dots ,{\text{head}}_h)W^O$$
其中${\text{head}}_i=\text{Attention}(Q{W}_i^Q,K{W}_i^K,V{W}_i^V)$。

2.4 前馈网络

• 在自注意力和多头注意力之后，每个位置的输出会传递给一个前馈网络，该网络对所有位置是相同且独立的。

2.5 残差连接和层归一化

• 每个子层（自注意力、前馈网络）的输出都有一个残差连接，然后通过层归一化。
• 这有助于避免在深层网络中出现的梯度消失问题。

3. 应用

• Transformer的架构使其在多种语言处理任务中表现出色，包括但不限于机器翻译、文本摘要和情感分析。

通过引入自注意力机制，Transformer模型能够更有效地处理长距离依赖问题，这在处理复杂的语言模型和其他序列任务时尤其重要。

四、大语言模型

大语言模型如GPT（Generative Pre-trained Transformer）和BERT（Bidirectional Encoder Representations from Transformers）等，已成为自然语言处理领域的核心技术。这些模型通过大规模的语料库预训练和精细的微调，能够完成从文本生成到理解的多种任务。

1. 无监督预训练技术

1.1 语言模型预训练

• 目标：预测下一个单词的概率，即给定之前的词序列，预测接下来最可能出现的词。
• 方法：通过最大化序列内词之间的条件概率来训练模型。

公式：

$$P(w_t|w_{1:t-1})=\text{softmax}(W\cdot h_{t-1}+b)$$
其中$w_t$是时间步$t$的单词，$h_{t-1}$是前一时间步的隐藏状态，$W$和$b$是模型参数。

1.2 掩码语言模型预训练（MLM）

• 目标：根据输入的部分文本预测被掩码（隐藏）的单词。
• 方法：随机选择输入序列中的词汇替换为掩码标记，并训练模型预测这些掩码位置上的原始词汇。

公式：

$$P(w_t|w_{\text{masked}})=\text{softmax}(W\cdot h_{\text{masked}}+b)$$
其中$w_{\text{masked}}$表示被掩码的词汇的位置，$h_{\text{masked}}$是掩码位置的隐藏状态。

2. 微调技术

2.1 微调概念

• 微调：在特定任务的有标注数据上继续训练预训练的模型，以使其更好地适应该任务。

公式：

$${\theta }^{\ast }={\text{argmin}}_{\theta }\sum _{i=1}^N\mathcal{L}(y_i,f(x_i;\theta ))$$
其中$\theta$是模型参数，$\mathcal{L}$是损失函数，$y_i$是标签，$f(x_i;\theta )$是模型对输入$x_i$的预测。

3. 奖励模型

3.1 奖励模型（RM）

• 目标：评估模型输出的质量，为强化学习提供奖励信号。
• 方法：比较初始模型和当前训练中模型的输出，使用奖励模型为这些输出打分，然后根据打分优化模型。

公式：

$$R=\text{RM}(y_1,y_2)$$
其中$y_1$和$y_2$是两个模型的输出文本，$\text{RM}$是奖励模型，$R$是计算出的奖励值。

3.2 使用PPO算法更新模型

• PPO（Proximal Policy Optimization）：是一种强化学习算法，用于在给定奖励的基础上优化模型参数。

总结

大语言模型通过结合强大的预训练、微调技术以及复杂的奖励机制，能够处理各种复杂的NLP任务，并在多个领域展现出惊人的性能。这些模型的训练和应用正在推动人工智能技术的发展，尤其是在自然语言理解和生成方面。

五、稳定扩散（Stable Diffusion）

稳定扩散是一种先进的生成模型，能够根据文本描述生成详细的图像，或对现有图像进行创意修改。它结合了深度学习的多个技术，包括文本编码、扩散过程、以及图像重建。

1. 稳定扩散的工作原理

1.1 文本到图像的转换

• 文本编码器：将输入的文本描述转换为机器可以理解的数学向量（称为语义向量）。
• 图像生成器：接收文本编码器输出的语义向量，并结合噪声数据逐步生成图像。

1.2 图像生成过程

• 信息生成器：从纯噪声开始，逐步去除噪声并引入语义向量，生成代表图像的隐变量。
• 解码器：将这些隐变量转换为具体的图像。

2. 扩散过程

2.1 扩散的迭代过程

• 扩散过程涉及将图像从纯噪声状态逐步转化为包含越来越多语义信息的状态。
• 这一过程通过多次迭代实现，每次迭代都会减少噪声并增加相关的语义内容。

公式：

$${\text{Image}}_{t+1}=\text{UNet}({\text{Image}}_t,\text{Text})$$
其中${\text{Image}}_t$是第$t$次迭代后的图像状态，$\text{Text}$是文本编码的语义向量。

3. 训练过程

3.1 训练数据准备

• 为去噪任务设计训练数据集，通过在原始图片上添加不同程度的噪声来创建。

3.2 训练模型

• 训练过程中，模型学习如何从加噪图像中预测并去除噪声，从而逐步还原出无噪声的原始图像。

公式：

$$\text{Loss}=\Vert {\text{Noise}}_{\text{predicted}}-{\text{Noise}}_{\text{actual}}{\Vert }^2$$
这里${\text{Noise}}_{\text{predicted}}$是模型预测的噪声，${\text{Noise}}_{\text{actual}}$是实际的噪声。

4. 图像生成

4.1 去噪过程

• 生成图像的过程实际上是一个去噪过程，模型反复预测并消除噪声，直到恢复出清晰的图像。

公式：

$$\text{De-noised Image}=\text{Noisy Image}-\text{Predicted Noise}$$

总结

稳定扩散模型是一种强大的图像生成工具，通过深度学习技术将文本描述转化为视觉图像。这种模型的应用范围广泛，包括艺术创作、游戏开发、以及广告行业，为创意和内容生成提供了新的可能性。

六、深度学习展望

深度学习领域正在快速发展，不断引入新的模型和技术，这些技术在各种应用中展现出了显著的潜力。本文将聚焦于两个重要的技术：生成对抗网络（GAN）和神经辐射场（NeRF）。

1. 生成对抗网络（GAN）

1.1 什么是GAN？

• GAN是一种由两部分组成的框架，包括一个生成模型（G）和一个判别模型（D）。
• 生成模型负责生成尽可能接近真实的数据，而判别模型则试图区分真实数据和生成数据。

1.2 工作原理

• GAN的训练过程是一个博弈过程，其中生成器试图欺骗判别器，而判别器则试图不被欺骗。
• 这一过程最终导致生成器生成高质量的数据。

公式：

$$\underset{G}{\min }\underset{D}{\max }V(D,G)={\mathbb{E}}_{x\sim p_{data}(x)}[\log D(x)]+{\mathbb{E}}_{z\sim p_z(z)}[\log (1-D(G(z)))]$$
其中$D(x)$是判别器对真实数据$x$的判别结果，$G(z)$是生成器基于噪声$z$生成的数据。

2. 神经辐射场（NeRF）

2.1 什么是NeRF？

• NeRF利用深度学习来创建三维场景的高质量细节表现。
• 它通过对多个视角的二维图像进行学习，来推断场景的三维结构。

2.2 工作原理

• NeRF模型训练时使用带有相机位置（pose）的图像集，通过这些信息渲染新视角的图像。
• 它结合了深度神经网络与传统图形技术，通过对光线路径的密集采样来计算像素值。

公式：

$$C(\mathbf{r})={\int }_{t_n}^{t_f}T(t)\sigma (\mathbf{r}(t))\mathbf{c}(\mathbf{r}(t),\mathbf{d})dt$$
其中$C(\mathbf{r})$是摄像机射线$\mathbf{r}$的颜色输出，$T(t)$是从$t_n$到$t$的透明度累积，$\sigma$是场景密度，$\mathbf{c}$是颜色，$t_n$和$t_f$分别是射线的近端和远端。

总结

深度学习的这些前沿技术正在开辟新的应用领域，从改善图像和视频的生成质量到增强计算机视觉和图形的能力。随着这些技术的持续发展和优化，它们将为人工智能带来更广泛的可能性。