神经网络笔记——反向传播算法

神经网络输出的矩阵表示

$$\begin{eqnarray} a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right), \end{eqnarray}$$
$$\begin{eqnarray} a^{l} = \sigma(w^l a^{l-1}+b^l). \end{eqnarray}$$
上式中，令: $$z^l \equiv w^l a^{l-1}+b^l$$

关于cost函数的两个条件

条件1：cost函数可以被写成如下形式：

$$C = \frac{1}{n} \sum_x C_x$$
，其中x是单个训练样本，n为样本总数。

对于均方误差函数：

$$\begin{eqnarray} C = \frac{1}{2n} \sum_x \|y(x)-a^L(x)\|^2, \end{eqnarray}$$
满足条件1：
$C = \frac{1}{n} \sum_x C_x,其中C_x =\frac{1}{2} \|y-a^L \|^2$

条件2：cost函数是神经网络最终层输出值$a^L$的函数。

可知均方误差函数也满足条件2:

$$\begin{eqnarray} C = \frac{1}{2} \|y-a^L\|^2 = \frac{1}{2} \sum_j (y_j-a^L_j)^2, \end{eqnarray}$$

Hadarmard乘积

$$\begin{eqnarray} \left[\begin{array}{c} 1 \\ 2 \end{array}\right] \odot \left[\begin{array}{c} 3 \\ 4\end{array} \right] = \left[ \begin{array}{c} 1 * 3 \\ 2 * 4 \end{array} \right] = \left[ \begin{array}{c} 3 \\ 8 \end{array} \right]. \end{eqnarray}$$

四条等式

$$\begin{eqnarray} a^{l}_j = \sigma\left( \sum_k w^{l}_{jk} a^{l-1}_k + b^l_j \right), \end{eqnarray}$$
$$\begin{eqnarray} a^{l} = \sigma(w^l a^{l-1}+b^l). \end{eqnarray}$$
$$z^l \equiv w^l a^{l-1}+b^l$$

后向传播算法过程

1. 输入$x$：对输入层$a^1$赋值。
2. 前馈：对于每个$l = 2, 3, \ldots, L$,计算$z^{l} = w^l a^{l-1}+b^l$和$a^{l} = \sigma(z^{l})$
3. 计算误差$\delta^L$:计算$\delta^{L}= \nabla_a C \odot \sigma'(z^L)$
4. 反向传播误差：对于每个$l = L-1, L-2,\ldots, 2$,计算$\delta^{l} = ((w^{l+1})^T \delta^{l+1}) \odot\sigma'(z^{l})$
5. 输出：计算每个$\frac{\partial C}{\partial w^l_{jk}} = a^{l-1}_k \delta^l_j,\frac{\partial C}{\partial b^l_j} = \delta^l_j$