基于循环神经网络的字符级语言模型

我们的目标是根据过去的和当前的词元预测下一个词元，因此我们将原始序列移位一个词元作为标签。

Bengio等人首先提出使用神经网络进行语言建模，接下来，我们看一下如何使用循环神经网络来构建语言模型。 设小批量大小为1，批量中的那个文本序列为“machine”。为了简化后续部分的训练，我们考虑使用 字符级语言模型（character-level language model）， 将文本词元化为字符而不是单词。下图演示了如何通过基于字符级语言建模的循环神经网络， 使用当前的和先前的字符预测下一个字符。

基于循环神经网络的字符级语言模型：输入序列和标签序列分别为“machin”和“achine”

在训练过程中，我们对每个时间步的输出层的输出进行softmax操作， 然后利用交叉熵损失计算模型输出和标签之间的误差。 由于隐藏层中隐状态的循环计算， 上图中的第 3 个时间步的输出 O3 由文本序列“m”、“a”和“c”确定。 由于训练数据中这个文本序列的下一个字符是“h”， 因此第 3 个时间步的损失将取决于下一个字符的概率分布， 而下一个字符是基于特征序列“m”、“a”、“c”和这个时间步的标签“h”生成的。

在实践中，我们使用的批量大小为 n>1 ， 每个词元都由一个 $d$维向量表示。 因此，在时间步$t$ 输入 $x_t$ 将是一个 n×d 矩阵。