深度网络中的正向传播

如何在深度网络中灵活应用正向和反向传播

 

 

先看对其中一个训练样本x，该怎么应用正向传播，之后讨论向量化的版本

 

在第一层里需要计算

z^[1] = w^[1]x + b^[1]= z^[1] = w^[1]a^[0]+ b^[1]

(w^[1]和b^[1]就是会影响在第一层的激活单元的参数)

a^[1]= g^[1] ( z^[1])    ( 激活函数)

在第二层里需要计算

z^[2] = w^[2]a^[1]+ b^[2]

a^[2]= g^[2] ( z^[2])

后面几层以此类推，直到计算到第四层，也就是输出层

z^[4] = w^[4]a^[3]+ b^[4]

a^[4]= g^[4] ( z^[4])

基本规律就是：

z^[L] = w^[L]a^[L-1]+ b^[L]

a^[L]= g^[L] ( z^[L])

标黄部分就是正向传播公式了

 

上述就是针对一个训练样本的过程，下面是怎么用向量化的方法训练整个训练集

我们要做的只是在把所有的z或者a向量叠起来

转载于:https://www.cnblogs.com/nhdmmdxq/p/9559129.html