Course 1 神经网络和深度学习 Week4 搭建多层神经网络识别猫图

基本元素符号约定

• 上标 $[l]$代表神经网络的层数 $l^{th}$ ，比如$a^{[L]}$ 是 $[L]$层的激活， $W^{[L]}$是$[L]$层的权重，$b^{[L]}$是$[L]$层的偏置。
• 上标$(i)$ 表示第$i^{th}$个样本，比如 $x^{(i)}$是第$i^{th}$个训练样本。
• 下标 $i$ 表示 $[l]$层的第 $i^{th}$ 项, 比如$a_i^{[l]}$ 表示第$l^{th}$层的第$i^{th}$个激活项

一、原理

多层神经网络搭建的流程图

1.1 为L-层神经网络初始化参数

	W的维度	b的维度	激活值的计算	激活值的维度
第1层	$(n^{[1]},12288)$	$(n^{[1]},1)$	$Z^{[1]}=W^{[1]}X+b^{[1]}$	$(n^{[1]},209)$
第2层	$(n^{[2]},n^{[1]})$	$(n^{[2]},1)$	$Z^{[2]}=W^{[2]}{A}^{[1]}+b^{[2]}$	$(n^{[2]},209)$
$⋮$	$⋮$	$⋮$	$⋮$	$⋮$
第L-1层	$(n^{[L-1]},n^{[L-2]})$	$(n^{[L-1]},1)$	$Z^{[L-1]}=W^{[L-1]}{A}^{[L-2]}+b^{[L-1]}$	$(n^{[L-1]},209)$
第L层	$(n^{[L]},n^{[L-1]})$	$(n^{[L]},1)$	$Z^{[L]}=W^{[L]}{A}^{[L-1]}+b^{[L]}$	$(n^{[L]},209)$

• $W^{[l]}$：parameters['W' + str(l)] = np.random.randn(layer_dims[l], layer_dims[i - 1]) / np.sqrt(layer_dims[l - 1])

• $b^{[l]}$：parameters['b' + str(l] = np.zeros(shape=(layer_dims[l], 1))

1.2 前向传播

1.2.1 前向传播的线性部分 $Z^{[l]}=WX+b$

$$W=\left[\begin{array}{ccc}j& k& l\\ m& n& o\\ p& q& r\end{array}\right]X=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]b=\left[\begin{array}{c}s\\ t\\ u\end{array}\right]$$

$$WX+b=\left[\begin{array}{ccc}(ja+kd+lg)+s& (jb+ke+lh)+s& (jc+kf+li)+s\\ (ma+nd+og)+t& (mb+ne+oh)+t& (mc+nf+oi)+t\\ (pa+qd+rg)+u& (pb+qe+rh)+u& (pc+qf+ri)+u\end{array}\right]$$
$$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$$其中 $A^{[0]}=X$

1.2.2 计算前向传播的线激活函数部分

激活函数公式

• Sigmoid: $\sigma (Z)=\sigma (WA+b)=\frac{1}{1+e^{-(WA+b)}}$
• Relu: A = R E L U ( Z ) = m