深度学习笔记

激活函数的作用：

如果没有激活函数，或则是线性激活函数，g(Z)=Z, 那么在深度神经网络中，相当于都做的是线性变换，多个线性变换的组合还是线性变换。这样的结果和逻辑回归没什么区别，也就是说，这种情况下，无论神经网络的深度有多深，也就等价于一个一层的网络，隐藏层没什么作用。

因此需要非线性激活函数。

关于残差网络：

1.什么时候插入，skip connection

a[l]的插入实在线性激活之前，relu激活之后

2.如果skip connection的两层维度不一样，或者宽度不一样，怎么办？

维度不一样，通过一个Ws来改变   ，如a[l+2] 与 a[l] 维度不一样 ，可以使Ws*a[l]与a[l+2]一样，Ws是网络通过学习得到的矩阵或参数，是一个固定大小的矩阵，padding=0

宽度不一样，视频中没讲，待定

3.残差网络为什么有用？

因为relu(a)>=0，

L2正则化会将W变小

从下图中可知，当w[l+2]a[l+1]+b[l+2]=0时，a[l+2]=a[l]，即这两层变成了一个恒等映射，而不是会变成a[l+2]=0

即残差网络学习恒等映射时很容易的，而普通网络不是

即残差网络至少能保证网络的效率，不会变得更差，，如果学到了一些有用的东西，就能使得网络变得更好

1*1卷积的作用

他给网络添加了一个非线性函数，可以对层进行降维或升维，减少或添加数据量