神经网络的BP推导

0. 写作目的

好记性不如烂笔头。

注意：本博客的求导法则，也许和其他地方不同，主要区别在于是否把链式法则中间的求导省略，如果不省略中间的求导则是本文的推导过程，如果省略则是常见的推导过程。其本质都是一样。

1. 定义

以多层神经元网络为例进行分析。网络如下图所示。

定义：网络共 m 层，第 k 层的第 i 个神经元到第 (k + 1) 层的第 j 个神经元之间的权重为 。第 k 层的第 i 个神经元的输入为 ，第 k 层的第 i 个神经元的输出为