机器学习 (三): 反向传播数学推导 & 神经网络

约定

本小节所使用的神经网络如图所示

其中

• 一共有三层, 序号分别是 0, 1, 2 (第0层为输入层)
• 输入为向量 $x$ 有两个项 $x_1$ 和 $x_2$
• $a^{(i)}$ 表示第 i 层的输出向量, $a_j^{(i)}$ 表示第 i 层输出向量的第 j 项. 注意 $x=a^{(0)}$
• $W^{(i)}$ 表示连接第 i-1 层和第 i 层的边, 即系数, $w_{jk}^{(i)}$ 表示连接第 i 层第 j 个节点和第 i-1 层第 k 个节点的边, 注意 jk 的顺序是从右到左连接
• $z^{(i)}=W^{(i)}\times a^{(i-1)}$
• $a^{(i)}=sigmoid(z^{(i)})$ 也就是说本网络使用的激活函数是 sigmoid
• $sigmoid(x)=\frac{1}{1+e^{-x}}$
• 损失函数为 $J(W,x,y)={\sum }_{i=1}^2[yln(a_i^{(2)})+(1-y)ln(1-a_i^{(2)})]$
• 简便起见不考虑 bias 项

推导

我们的目标是最小化 $J(W,x,y)$, 其中 W 是所有的边, 而 x, y 是测试数据集为常量, 所以我们需要求 $\frac{\delta J}{\delta W}$, 具体地, 我们要求 $\frac{\delta J}{\delta w^{(2)}}$ 和 $\frac{\delta J}{\delta w^{(1)}}$ :

$\frac{\delta J}{\delta w^{(2)}}=\frac{\delta J}{\delta a^{(2)}}\times \frac{\delta a^{(2)}}{\delta z^{(2)}}\times$