有朋自远方来，不亦乐乎。

在内部实现中，首先用零向量（np.zeros（​）​）初始化偏置，再用小的随机数（0.01 *np.random.randn（​）​）初始化权重。Trainer类的内部实现和刚才的源代码几乎相同，只是添加了一些新的功能而已，我们在需要的时候再详细说明其用法。另外，t是one-hot向量，对应的正确解标签的类标记为1，其余的标记为0。另外，Trainer类有plot（​）方法，它将fit（​）方法记录的损失（准确地说，是按照eval_interval评价的平均损失）在图上画出来。Epoch表示学习的单位。

根据刚才复习的链式法则，反向传播中流动的导数的值是根据从上游（输出侧）传来的导数和各个运算节点的局部导数之积求得的。为什么说和W有关系呢？也就是说，只要能够计算各个函数的局部的导数，就能基于它们的积计算最终的整体的导数。所谓逆向关系，是指Sum节点的正向传播相当于Repeat节点的反向传播，Sum节点的反向传播相当于Repeat节点的正向传播。梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。

备注：本专栏为个人的NLP学习笔记，欢迎大家共同讨论交流学习。代码同步：https://github.com/codesknight/Learning-NLP-Together 参考书籍：《深度学习进阶：自然语言处理》——斋藤康毅。