激活函数的作用:
如果没有激活函数,或则是线性激活函数,g(Z)=Z, 那么在深度神经网络中,相当于都做的是线性变换,多个线性变换的组合还是线性变换。这样的结果和逻辑回归没什么区别,也就是说,这种情况下,无论神经网络的深度有多深,也就等价于一个一层的网络,隐藏层没什么作用。
因此需要非线性激活函数。
关于残差网络:
1.什么时候插入,skip connection
a[l]的插入实在线性激活之前,relu激活之后
2.如果skip connection的两层维度不一样,或者宽度不一样,怎么办?
维度不一样,通过一个Ws来改变 ,如a[l+2] 与 a[l] 维度不一样 ,可以使Ws*a[l]与a[l+2]一样,Ws是网络通过学习得到的矩阵或参数,是一个固定大小的矩阵,padding=0
宽度不一样,视频中没讲,待定
3.残差网络为什么有用?
因为relu(a)>=0,
L2正则化会将W变小
从下图中可知,当w[l+2]a[l+1]+b[l+2]=0时,a[l+2]=a[l],即这两层变成了一个恒等映射,而不是会变成a[l+2]=0
即残差网络学习恒等映射时很容易的,而普通网络不是
即残差网络至少能保证网络的效率,不会变得更差,,如果学到了一些有用的东西,就能使得网络变得更好
1*1卷积的作用
他给网络添加了一个非线性函数,可以对层进行降维或升维,减少或添加数据量