Datawhale AI 夏令营（NLP task2）

基于神经网络解决机器翻译任务的流程：配置环境->数据预处理->训练模型和验证->y用模型翻译

目录

---

1.配置环境

一些常用的包：

torchtext ：是一个用于自然语言处理（NLP）任务的库，它提供了丰富的功能，包括数据预处理、词汇构建、序列化和批处理等，特别适合于文本分类、情感分析、机器翻译等任务

jieba：是一个中文分词库，用于将中文文本切分成有意义的词语

spacy：是一个强大的自然语言处理库，支持70+语言的分词与训练

sacrebleu：用于评估机器翻译质量的工具，主要通过计算BLEU（Bilingual Evaluation Understudy）得分来衡量生成文本与参考译文之间的相似度

2.数据预处理

• 清洗和规范化数据

  • 去除无关信息：删除HTML标签、特殊字符、非文本内容等，确保文本的纯净性

  • 统一格式：转换所有文本为小写，确保一致性；标准化日期、数字等格式。

  • 分句和分段：将长文本分割成句子或段落，便于处理和训练。

• 分词

  • 分词：将句子分解成单词或词素（构成单词的基本组成部分，一个词素可以是一个完整的单词，也可以是单词的一部分，但每一个词素都至少携带一部分语义或语法信息）。使用jieba 对中文进行分词，使用spaCy对英文进行分词。

• 构建词汇表和词向量

  • 词汇表构建：从训练数据中收集所有出现过的词汇，构建词汇表，并为每个词分配一个唯一的索引。

  • 词向量：使用预训练的词向量或自己训练词向量，将词汇表中的词映射到高维空间中的向量，以捕捉语义信息。

• 序列截断和填充

  • 序列截断：限制输入序列的长度，过长的序列可能增加计算成本，同时也可能包含冗余信息。

  • 序列填充：将所有序列填充至相同的长度，便于批量处理。通常使用<PAD>标记填充。

• 添加特殊标记

  • 序列开始和结束标记：在序列两端添加<SOS>（Sequence Start）和<EOS>（Sequence End）标记，帮助模型识别序列的起始和结束。

  • 未知词标记：为不在词汇表中的词添加<UNK>（Unknown）标记，使模型能够处理未见过的词汇。

• 数据增强

  • 随机替换或删除词：在训练数据中随机替换或删除一些词，增强模型的鲁棒性。

  • 同义词替换：使用同义词替换原文中的词，增加训练数据的多样性。

• 数据分割

  • 划分数据集：将数据划分为训练集、验证集和测试集，分别用于模型训练、参数调整和最终性能评估

3.Seq2Seq模型

编码器（Encoder）

• 目的：将输入序列转换成一个固定长度的上下文向量（context vector），这个向量应该能够捕捉输入序列的所有重要信息。
• 结构：编码器通常是一个循环神经网络（RNN）或其变体，如LSTM（长短期记忆网络）或GRU（门控循环单元）。这些网络结构能够处理序列数据，并在每一步更新其隐藏状态，以捕捉序列中的信息。
• 输出：编码器的最终隐藏状态（或最终几个隐藏状态的某种组合）通常被用作上下文向量，并传递给解码器。在某些情况下，编码器的所有隐藏状态也会被保存下来，以便在解码过程中通过注意力机制使用。

解码器（Decoder）

• 目的：根据编码器的上下文向量（以及可能的其他输入，如已生成的目标序列的先前部分）来生成目标序列。
• 结构：解码器也是一个循环神经网络或其变体，它的结构与编码器相似，但通常包含一些额外的特性，如注意力机制。
• 输入：
  • 初始时，解码器接收一个特殊的起始符号作为输入，并可能接收编码器的上下文向量作为初始隐藏状态。
  • 在每个后续的时间步，解码器接收上一步的输出（或前一时间步的真实目标词，在训练时）作为输入。
• 注意力机制（可选）：
  • 注意力机制允许解码器在生成每个词时动态地关注编码器的不同部分。
  • 通过计算解码器当前隐藏状态与编码器所有隐藏状态之间的相似度，注意力机制可以生成一个加权和，即上下文向量，该向量在解码的每个时间步都是不同的。
• 输出：
  • 在每个时间步，解码器输出一个概率分布，表示目标词汇表中每个词作为当前时间步输出的可能性。
  • 通常，选择概率最高的词作为当前时间步的输出，并将其作为下一个时间步的输入（或选择真实目标词作为输入，在训练时）。
  • 当输出序列包含结束符号时，解码过程停止。

训练与优化

• 损失函数：Seq2Seq模型通常使用交叉熵损失函数来评估模型预测的目标序列与真实目标序列之间的差异。
• 优化算法：使用梯度下降（或其变体，如Adam、RMSprop等）来优化模型参数，以最小化损失函数。
• 教师强制（Teacher Forcing）：在训练过程中，解码器通常使用真实的目标序列（而非其自己的预测）作为下一个时间步的输入。这有助于加速训练过程，但也可能导致模型在测试时表现不佳，因为测试时解码器只能使用自己的预测作为输入。