利用RNN构建语言模型

这里省略了文本数据和数据集构建。具体可以查看这里。（这个是之前我按照李沐老师的课写的）

RNN输入输出

输入为当前向量$x$（词），输出为预测向量$y$。隐藏状态设为$h$。其和上一个输入和上一个隐藏状态相关。RNN具体输入输出公式为：
h t = ϕ ( x t W x h + h t − 1 W h h + b h ) y t = ϕ ( h t W h y + b y ) h_t = \phi( x_tW_{xh}+h_{t-1}W_{hh}+b_h)\\ y_t = \phi(h_tW_{hy}+b_y) ht​=ϕ(xt​Wxh​+ht−1​Whh​+bh​)y