【c1w4】- 吴恩达深度学习作业

【c1w4】- 吴恩达深度学习作业总结

0.总结

1.L-layer网络

输入为 X （12888,209）

m = 209 例子

2.前向传播

1.Linear Forward

$$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$$

2.Linear-Activation Forward

Sigmoid

ReLu

$$A^{[l]}=g(Z^{[l]})=g(W^{[l]}{A}^{[l-1]}+b^{[l]})$$

激活函数"g" 可以是 sigmoid() 或者 relu()

3.L-Layer Model

• [LINEAR -> RELU] × (L-1) -> LINEAR -> SIGMOID model

4.代价函数

$$-\frac{1}{m}\sum _{i=1}^m(y^{(i)}\log \left(a^{[L](i)}\right)+(1-y^{(i)})\log \left(1-a^{[L](i)}\right))$$

'''交叉熵'''
 cost = - 1/m* np.sum((Y*np.log(AL))+(1-Y)*np.log(1-AL))

5.反向传播

1.Linear backward

dz 和 cache 求解 dW, db, da

$$\begin{array}{rl}& d{W}^{[l]}=\frac{\partial \mathcal{L}}{\partial W^{[l]}}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1]T}\\ & d{b}^{[l]}=\frac{\partial \mathcal{L}}{\partial b^{[l]}}=\frac{1}{m}\sum _{i=1}^{m}d{Z}^{[l](i)}\\ & d{A}^{[l-1]}=\frac{\partial \mathcal{L}}{\partial A^{[l-1]}}=W^{[l]T}d{Z}^{[l]}\end{array}$$

2.Linear-Activation backward

$$d{Z}^{[l]}=d{A}^{[l]}\ast g^{\prime }(Z^{[l]})$$

6.参数更新

$$\begin{array}{rl}& W^{[l]}=W^{[l]}-\alpha d{W}^{[l]}\\ & b^{[l]}=b^{[l]}-\alpha d{b}^{[l]}\end{array}$$

1.难点说明

1.np.sum()

$$d{b}^{[l]}=\frac{\partial \mathcal{L}}{\partial b^{[l]}}=\frac{1}{m}\sum _{i=1}^{m}d{Z}^{[l](i)}$$

# 压缩成一列
np.sum(dZ, axis=1, keepdim=True)

2.反向传播

对代价函数求导

'''对交叉熵的求导'''
dAL = - (np.divide(Y, AL) - np.divide(1 - Y, 1 - AL))