机器学习 day09神经网络参数的反向传播算法

01 代价函数

• 有m组训练样本，L代表神经网络结构的总层数，S_l代表第L层的单元数也就是神经元的数量（不包括第L层的偏差单元）。其中二元分类与多类别分类问题如下：

• 应用于神经网络的代价函数：h(x)是一个k维向量，h(x)_i代表第i个输出；k的求和符号应用于y_k和h_K,是因为我们主要是将第k个输出单元的值和y_k的值的大小作比较；y_k的值就是这些向量中其应属于哪个类的量。

02 反向传播算法

反向传播算法是计算代价函数关于所有参数的导数或者偏导数的一种有效方法。

---

• 使用前向传播方法来计算的顺序，计算一下在给定输入的时候，假设函数是否会真的输出结果。

• 反向传播算法中，下图上方下标j上标（l)代表了第l层的第j个结点的误差，下图上方下标j上标（l)实际上就是假设的输出值和训练集y值之间的差。反向传播算法类似于把输出层的误差反向传播给了第三层，然后再传播给第二层，注意没有第一层（第一层可以直观的观察到，没有误差）。

• 如何实现反向传播算法来计算这些参数的偏导数：

  1. 首先将每一个i和j对应的三角形（三角形是上图上方下标j上标（l)的大写）置0
  2. 接下来遍历整个训练集，将输入层的激活函数设定他为第i个训练样本的输入值
  3. 接下来用正向传播来计算第二层的激活值，然后第三层，最后到最后一层
  4. 使用输出值来计算这个输出值对应的误差项（假设输出-目标输出）
  5. 再通过反向传播算法计算前几层的误差项，一直到第二层
  6. 最后通过三角形来累计我们再前面写好的