1.2 吴恩达深度学习笔记之深层神经网络的建立过程

建立DNN深度学习架构：

1.初始化参数W，b:根据给定的layer_dims即各层单元数信息，对各层参数Wl，bl进行初始化，对于第l层Wl的维度为（layer_dims[l],layer_dims[l-1])，可以使用np.random.randn(shape)进行初始化。bl的唯度为(layer_dims[l],1)，可以使用np.zeros((shape))进行初始化

2.前向传播：前向传播主要为两个步骤，首先是线性传播获取Z，利用Z=np.dot(W,A)+b，并把（A，W，b）放入linear_cache中，然后通过激励函数获取下一步的A，前L-1层的激励函数通常为relu函数，最后一层为sigmoid函数，此步需保存包括linear_cache和activation_cache的信息（（A，W，b），（Z））为后续过程做铺垫

3计算损失函数cost，注意计算后的cost一定要经过np.squeeze()进行压缩，否则得不到实数

4.反向传播：同样反向传播也分为两步，首先是获取dZ，对于最后一层需要用原始求导公式先获取dAL，其它层都可以推出，

从dAL到dZ为激励函数传播过程，此处需要使用到第二步中的activation_cache即Z的信息，根据激励函数不同求导使用的函数也不同，可以事先写好求导函数，方便使用。求得dZ后，通过线性传播过得dW，db，dA_prev，此处需要用到第二部中的linear_cache的信息即（A，W，b）。反向传播返回各层梯度值grads

线性反向传播公式:

    dW=np.dot(dZ,A_prev.T)/m

    db=np.sum(dZ,axis=1,keepdims=True)/m

    dA_prev=np.dot(W.T,dZ)

5.根据反向传播的梯度值更新参数：

def update_parameters(parameters,grads,learning_rate):

    L=len(parameters)//2
    for i in range(L):
        parameters['W'+str(i+1)]=parameters['W'+str(i+1)]-learning_rate*grads['dW'+str(i+1)]

    return parameters

以上过程则完成了一个DNN的建立，在具体应用中还有数据集的获取，预处理，预测，分析等过程，在下一篇文章中以图像分类为例进行讨论。