《neural network and deep learning》题解——ch02 反向传播

重磅推荐专栏： 《Transformers自然语言处理系列教程》
手把手带你深入实践Transformers，轻松构建属于自己的NLP智能应用！

http://blog.csdn.net/u011239443/article/details/74859614

2.4 反向传播的四个基本方程

$(BP1)：{\delta }^L={\nabla }_{a}C\odot \sigma \prime (z^L)$
$(BP2):{\delta }^l=((w^{l+1}{)}^T{\delta }^{l+1})\odot \sigma \prime (z^l)$
$(BP3):\frac{\partial C}{\partial b_{lj}}={\delta }_j^l$
$(BP4):\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^l$

问题一：

另一种反向传播方程的表示方式: 我已经给出了使用 Hadamard 乘积的反向传播的公式(尤其是 (BP1) 和 (BP2))。如果你对这种特殊的乘积不熟悉,可能会有一些困惑。下面还有一种表示方式,那就是基于传统的矩阵乘法,某些读者可能会觉得很有启发。(1)证明(BP1) 可以写成：

${\delta }^L=\Sigma \prime (z^L){\nabla }_{a}C$

其中$ Σ ′ (z^L ) $是一个方阵,其对⻆线的元素是$σ ′ (z_j^L )$,其他的元素均是 0。注意,这个矩阵通过一般的矩阵乘法作用在 ${\nabla }_{a}C$ 上。

$设：{\nabla }_{a}C=\left(\begin{array}{c}c1\\ c2\\ ...\\ cn\end{array}\right)$
$\sigma \prime (z^L)=\left(\begin{array}{c}\sigma 1\\ \sigma 2\\ ...\\ \sigma n\end{array}\right)$
$\large \color{blue}{则： (BP1)：δ ^L = ∇ _a C ⊙ σ ′ (z ^L ) = \begin{pmatrix} c1σ1\ c2σ2\…\cnσn \end{pmatrix} } $

$\large \color{blue}{ 由： Σ ′ (z^L ) =
\begin{pmatrix}
σ_1\
&σ_2 & & \text{0}\
&&…\
& \text{0} &&σ_{n-1}\
&&&& σ_n
\end{pmatrix}
} $
$得：\Sigma \prime (z^L){\nabla }_{a}C=\left(\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & \text{0}& \\ & & \dots & & \\ & \text{0}& & {\sigma }_{n-1}& \\ & & & & {\sigma }_n\end{array}\right)\left(\begin{array}{c}c1\\ c2\\ ...\\ cn\end{array}\right)=\left(\begin{array}{c}c1\sigma 1\\ c2\sigma 2\\ ...\\ cn\sigma n\end{array}\right)={\delta }^L$

问题二：

证明 (BP2) 可以写成

${\delta }^l=\Sigma \prime (z^l)(w^l+1{)}^T{\delta }^{l+1}$

$设：w=\left(\begin{array}{c}w1,w2,...,wn\end{array}\right)$
$\delta =\left(\begin{array}{c}\delta 1\\ \delta 2\\ ...\\ \delta n\end{array}\right)$
$则：{\delta }^l=\left(\begin{array}{c}w1\delta 1\sigma 1\\ w2\delta 2\sigma 1\\ ...\\ wn\delta n\sigma n\end{array}\right)$

$\Sigma \prime (z^l)(w^l+1{)}^T{\delta }^{l+1}=\left(\begin{array}{ccccc}{\sigma }_1& & & & \\ & {\sigma }_2& & \text{0}& \\ & & \dots & & \\ & \text{0}& & {\sigma }_{n-1}& \\ & & & & {\sigma }_n\end{array}\right)\left(\begin{array}{c}w1\\ w2\\ ...\\ wn\end{array}\right)\left(\begin{array}{c}\delta 1\\ \delta 2\\ ...\\ \delta n\end{array}\right)=\left(\begin{array}{c}w1\delta 1\sigma 1\\ w2\delta 2\sigma 1\\ ...\\ wn\delta n\sigma n\end{array}\right)={\delta }^l$

问题三

结合(1)和(2)证明
${\delta }^l=\Sigma \prime (z^l)(w^{l+1}{)}^T...\Sigma \prime (z^{L-1})(w^L{)}^T\Sigma \prime (z^L){\nabla }_{a}C$

${\delta }^l=\Sigma \prime (z^l)(w^{l+1}{)}^T{\delta }^{l+1}$

$=\Sigma \prime (z^l)(w^{l+1}{)}^T\Sigma \prime (z^{l+1})(w^{l+2}{)}^T{\delta }^{l+2}$

$=...=\Sigma \prime (z^l)(w^{l+1}{)}^T...\Sigma \prime (z^{L-1})(w^L{)}^T{\delta }^L$

$=\Sigma \prime (z^l)(w^{l+1}{)}^T...\Sigma \prime (z^{L-1})(w^L{)}^T\Sigma \prime (z^L){\nabla }_{a}C$

2.5 四个基本方程的证明

问题一

证明方程 (BP3) 和 (BP4)。

• (BP3)

$\large \color{blue}{ δ_j^l = \frac{∂C}{∂b^l_j} \frac{∂b^l_j}{∂zl_j} = \frac{∂C}{∂b^l_j} \frac{∂(z_j^{l} - \sum_kw_{jk}^{l}a{l-1}_k)}{∂z^l_j} = \frac{∂C}{∂b^l_j}} $

• (BP4)

$\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}{\delta }_j^l=>\frac{\partial C}{\partial w_{jk}^l}=a_k^{l-1}\frac{\partial C}{\partial z_j^l}=>\frac{\partial z_j^l}{\partial w_{jk}^l}=a_k^{l-1}$

$由于\frac{\partial z_j^l}{\partial w_{jk}^l}=\frac{\partial ({\sum }_j{w}_{jk}^l{a}_k^{l-1}+b_j^l)}{\partial w_{jk}^l}=a_k^{l-1},所以命题成立。$

#2.6 反向传播算法

问题一

使用单个修正的神经元的反向传播。假设我们改变一个前馈网络中的单个神经元,使得那个神经元的输出是 $f({\sum }_j{w}_j{x}_j+b)$,其中 f 是和 S 型函数不同的某一函数。我们如何调整反向传播算法?

把$ σ()$换成$f()$

问题二

线性神经元上的反向传播假设我们将非线性神经元的 σ 函数替换为 σ(z) = z。重写反向传播算法。

(2)中 $a^l=z^l$
(3)中 ${\delta }^L={\nabla }_{a}C$
(4)中${\delta }^l=((w^l+1{)}^T{\delta }^{l+1})$