神经网络与深度学习（三）——反向传播算法

1. 基于矩阵计算网络输出

首先给出网络中权重的清晰定义。使用表示从层的个神经元到层的个神经元的链接上的权重。如下图所示，给出了第2个隐藏层的第4个神经元到第3个隐藏层的第2个神经元的链接上的权重。

对网络偏差和激活值也使用类似的表示。显式地，使用 表示在 层 个神经元的偏差，使用 表示 层 个神经元的激活值。如下图所示。



这样一来， 层的 个神经元的激活值 就与 层的激活值关联起来了，如下式所示。



我们引入向量化函数来按照矩阵形式重写上述公式，由于我们对权值矩阵 索引下标做出了定义，于是上式就转化为下面这种整洁的形式，避免了对权值矩阵做转置运算。



利用上述方程计算 时，我们称中间量 为 层的带权输入。则 的每个元素是 ，即 层