反向传播算法

假设，你有这样一个网络层,并给它们赋上初值

第一层是输入层，包含两个神经元i1，i2，和截距项b1；第二层是隐含层，包含两个神经元h1,h2和截距项b2，第三层是输出o1,o2，每条线上标的wi是层与层之间连接的权重，激活函数我们默认为sigmoid函数。
前向传播：

神经元h1的输出o1:(此处用到激活函数为sigmoid函数)：

反向传播：

以权重参数w5为例，如果我们想知道w5对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）

以权重参数w1为例，如果我们想知道w1对整体误差产生了多少影响，可以用整体误差对w5求偏导求出：（链式法则）