NLP 学习笔记之 Seq2seq

基础知识储备：
首先知道计算机把语言当作sequence
有一些标识符
BOS：begining of sequence，代表序列开始。
EOS：End of sequence，代表序列结束。
UNK: 低频词或未在词表中的词
PAD: 补全字符

Epoch（时期）：
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次>epoch。（也就是说，所有训练样本在神经网络中都 进行了一次正向传播 和一次反向传播 ）
然而，当一个Epoch的样本（也就是所有的训练样本）数量可能太过庞大（对于计算机而言），就需要把它分成多个小块，也就是就是分成多个Batch 来进行训练。

Batch（批 / 一批样本）：
将整个训练样本分成若干个Batch。

Batch_Size（批大小）：
每批样本的大小。 样本数量/ 批次数= batch size
batchSize表示批次大小，如bathSize=5，代表模型处理完5个样本后，进行一次前向传播和反向传播;

Iteration（一次迭代）：
训练一个Batch就是一次Iteration

一 Recurrent Neural Networks

一个RNN包括隐藏状态h、一个可选的输出y，可变长度输入序列x， X = {x1, x2, … xT}。