浅层神经网络

神经网络的样子

 

 

 

 

两层神经网络，第一层，多个w,b 参数，得到了多个 a，第二层，多个a作为训练集，得到了z.

        m个样本，两层节点

红圈代表向量话代码：正向传播。两层神经网络

z[1]=w[1]x+b[1]

A[1]=sigmoid(z[1])

z[2]=w[2]A[1]+b[2]

A[1]=sigmoid(Z[2])

二：激活函数的选择：

(1) sigmoid(z) =1/(!+exp(-z))                  

除非是二分类函数，否则绝不要使用。  （这种情况，Y^就是应该介于0~1）。可以，隐藏层用tanh，输出层用sigmoid

g(z)' =da(1-a)

 

(2) tanh(z)  = (exp(z)-exp(-z))/exp(z)+exp(-z)  

dg/dz = 1- a^2

范围是[-1 , 1]这个函数平均值更接近于0，能让下一层的学习方便些。各个场合都比sigmoid更优秀

以上两个函数，当z的值很大时，斜率接近于0.学习速度会很慢。

(3)  Relu a = max(0, z)    

z > 0，斜率为1，z < 0。斜率为0

缺点是，z= 0 导数没有定义，实际上可以直接给他赋值0或1。另外，z<0。导数为0.但实际操作不需要担心这个

如果做二分类，可以隐藏层用Relu，输出层用sigmoid（）

(4) Leak Relu =max(0.01z , z)

 

以上的线性激活函数，用多少次，其实也是没用的，和逻辑回归是一样的。必须使用非线性激活函数tanh ，或者ReLU

L

    

 

浅层神经网络实现：

1、正向传播：

 

2、反响传播：keepdim =true 防止db的秩变为1

反向传播式子推导：

不同于逻辑回归，把w,b都初始化为0，在进行神经网络算法时，我们多个隐藏节点用的w必须是不同的，否则，各个隐藏节点进行的运算也是一样的。求出的a, 以及后来求出的 dw，也是一样的。就没有意义了。

令：w = np.random.radn((2,1)) * 0.01。这里，这个常数尽量小一些，因为z特别大的时候，tanh,sigmoid这些函数迭代速度很低。

     b =np.zeros((2,1))