《深度学习入门》学习记录 Part3

这周主要是复习了《深度学习入门》的第四、五章节，并快速浏览了剩下的第六、七、八章节。

复习「神经网络的学习」

把神经网络的学习的过程又熟悉了一遍，并且把相关的方法大致写了出来。

神经网络的学习过程

通过「梯度法」，不断的沿着「损失函数」关于「权重参数」的「梯度」方向前进，找到「损失函数」的最小值，从而得到最优的「权重参数」。

利用数值微分计算梯度的方法进行神经网络的学习

1. 选取部分训练数据进行推理——Mini-batch
2. 利用「数值微分」方法计算「梯度」
   1. predict：利用「激活函数」由输入x计算神经网络的输出y
   2. loss：利用「损失函数」由神经网络的输出y和监督数据t计算「损失函数」
   3. numerical_gradient：利用数值微分由「损失函数」和「权重参数」计算「损失函数」关于「权重参数」的「梯度」
3. 通过「梯度下降法」更新「权重参数」
   1. 利用「梯度下降法」由「学习率」和「梯度」来更新「权重参数」
4. 通过测试数据进行精度评价

计算图的反向传播：

计算图的优点：可以通过「正向传播」和「反向传播」高效的计算各个变量的「导数」值。