[笔记]Coursera Deep Learning笔记 神经网络一些要点

激活函数

1. Sigmoid
   不怎么用了.
   $$\begin{gathered} a=g(z)=\sigma (z)=\frac{1}{1+e^{-z}} \\ {g}^{\prime }(z)=a(1-a) \end{gathered}$$
   

2. Tanh
   比Sigmoid好. 因为其值域为(-1, 1), 计算得a的平均值靠近0, 更好的centers the data(不知道怎么翻译比较好), 有利于下一层的计算.
   $$\begin{gathered} a=g(z)=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}} \\ {g}^{\prime }(z)=1-(tanh(z){)}^2 \end{gathered}$$
   

3. ReLU(Rectified Linear Unit)
   收敛快.
   $$\begin{gathered} a=g(z)=max(0,z) \\ {g}^{\prime }(z)=\{\begin{array}{ll}0& \text{if }z<0\\ 1& \text{if }z>0\\ undefined& \text{if }z=0\end{array} \end{gathered}$$
   

4. Leaky ReLU
   比ReLU更优, 但不怎么用?
   $$\begin{gathered} a=g(z)=max(0.01z,z) \\ {g}^{\prime }(z)=\{\begin{array}{ll}0.01& \text{if }z<0\\ 1& \text{if }z>0\\ undefined& \text{if }z=0\end{array} \end{gathered}$$
   

为什么需要一个非线性的激活函数(Non-linear Activation Function)

因为如果是线性的, 即直接令 $A=g(Z)=Z$ 那么对于每一层，都有:
$$a^{[i]}=z^{[i]}=w^{[i]}{a}^{[i-1]}+b^{[i]}\text{\hspace{1em}(*)}$$

则对于第 $i+1$ 层, 将 $(\ast )$ 带入:

$$\begin{array}{rl}{a}^{[i+1]}& =z^{[i+1]}\\ & =w^{[i+1]}{a}^{[i]}+b^{[i+1]}\\ & =w^{[i+1]}(w^{[i]}{a}^{[i-1]}+b^{[i]}+b^{[i+1]}\\ & =(w^{[i+1]}{w}^{[i]})a^{[i-1]}+(w^{[i+1]}{b}^{[i]}+b^{[i+1]})\\ & =w^{\prime }{a}^{[i-1]}+b^{\prime }\end{array}$$

即最终的模型相当于一个标准的, 没有隐藏层的逻辑回归. 即无论你的模型有多少层，最终效果也相当于只有一层。

如果要用线性激活函数, 一般也只用在回归问题的输出层(预测一些结果为实数的值), 隐藏层还是用 tanh, ReLU 等.

为什么神经网络要随机初始化参数(而逻辑回归不须要)

如果神经网络不随机初始化, 比如 w, b 都初始化为0, 则每次对隐藏层反向传播的时候计算得的导数 $d{z}_1^{[i]}$ , $d{z}_2^{[i]}$ , $d{z}_3^{[i]}$ 等相同, $dw$ 也是, 每个隐藏层单元都计算着一模一样的式子(不过b不受这种Symmetry Breaking Problem影响, 可以初始化为0).

而对于逻辑回归, 它没有隐藏层, 其导数取决于x, 问题不大.

随机初始化时参数范围可以设置在0~0.01(对于 sigmoid 和 tanh 而言), 如果参数过大(比如w=100) 在 sigmoid 或 tanh 的函数图像上可以看到参数十分靠右，导致导数趋于零, 梯度趋于零, 导致收敛很慢.

向前向后传播

向前传播:

$$\begin{array}{rlrl}& \text{Input: }{a}^{[l-1]}& & \\ & \text{Output: }{a}^{[l]},\text{Cache: }{z}^{[l]}& & \\ & z^{[l]}=W^{[l]}{a}^{[l-1]}+b^{[l]}& & Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}\\ & a^{[l]}=g^{[l]}(z^{[l]})& & A^{[l]}=g^{[l]}(Z^{[l]})\end{array}$$

向后传播:

$$\begin{array}{rlrl}& \text{Input: }d{a}^{[l]}& & \\ & \text{Output: }d{a}^{[l-1]},d{W}^{[l]},d{b}^{[l]}& & \\ & d{z}^{[l]}=d{a}^{[l]}\ast g^{[l{]}^{\prime }}(z^{[l]})& & d{Z}^{[l]}=d{A}^{[l]}\ast g^{[l{]}^{\prime }}(Z^{[l]})\\ & d{W}^{[l]}=d{z}^{[l]}{a}^{[l-1]}& & d{W}^{[l]}=\frac{1}{m}d{Z}^{[l]}{A}^{[l-1{]}^T}\\ & d{b}^{[l]}=d{z}^{[l]}& & d{b}^{[l]}=\frac{1}{m}np.sum(d{Z}^{[l]},axis=1,keepdims=True)\\ & d{a}^{[l-1]}=w^{[l{]}^T}d{z}^{[l]}& & d{A}^{[l-1]}=W^{[l{]}^T}d{Z}^{[l]}\end{array}$$