台湾大学李宏毅深度学习1

1. 深度学习的三个步骤

   • Neural Network(神经网络)：我们经常设计神经网络，并且让机器从数据中寻找参数。
   • Cost function(成本函数)：用来判断一组参数是好还是不好
   • Optimization(最优化)：找到最好的函数

2. Fully connected layer(全连接层)：

   • 第i-1和第i层之间两两相连。第l-1层的第1个神经与第l层的第2个神经相连，得到的是$w_{21}^l$。上边l表示连接的是第l-1层和第l层。下标21表示连接的是第l层的第2个神经，到第l-1层的第1个神经。注意这里下标是反的
   • 最后每两个相连的层之间形成一个w数组。这个数组的行数是第l层的神经个数，列数是第l-1层的神经个数。
   • 每一层的神经元的表示$a_i^l$表示在第l层的第i个字符。如果是$a^l$则表示第l层的所有神经元，形成一个vector。
   • $z_i^l$：第l层的第i个神经的活动输入。 $z^l$表示第l层的所有输入。
     $z_i^l$ = $w_{i1}^l$ $a_1^{l-1}$ + $w_{i2}^l$ $a_2^{l-1}$+……$b_i^l$
     其中$b_i^l$代表的是第l层的第i个神经元的常数。
   • 那么考虑$a^l$和$a^{l-1}$之间的关系。
     $z_1^l$=$w_{11}^l$$a_1^{l-1}$ + $w_{12}^l$$a_2^{l-1}$+……+$b_1^l$
     $z_2^l$=$w_{21}^l$$a_1^{l-1}$ + $w_{22}^l$$a_2^{l-1}$+……+$b_2^l$
     $z_i^l$=$w_{i1}^l$$a_1^{l-1}$ + $w_{i2}^l$$a_2^{l-1}$+……+$b_i^l$
     那么上面的式子可以用矩阵表示
     $$\left[\begin{array}{c}{z}_1^l\\ z_2^l\\ ⋮\\ z_i^l\\ ⋮\end{array}\right]$$
     也就是$Z^l$ = $W^l$$a^{l-1}$+$b^l$
   • 当知道了$a^{l-1}$与$z^l$之间的关系，如果也知道$z^l$和$a^l$之间的关系，我们就可以得到$a^{l-1}$和$a^l$之间的关系。
     那么z与a的关系，假设l层的函数是$\sigma$()。那么$a_i^l$ = $\sigma$($z_i^l$) 。还可以$a^l$ = $\sigma$($z^l$)
   • 那么根据第5条和第6条两条式子，我们可以知道$a^{l-1}$和$a^l$之间的关系： $a^l$ = $\sigma$($W^l{a}^{l-1}$+$b^l$)

3. Recurrent structure(周期性结构)：用同一个函数不断去简化网络。

   • 有一个 $h^{‘}$,y=$f(h,x)$ 这个函数有两个参数，同时又两个返回值。
   • 则如果$h_0$和$x_1$是第一个参数，得到的输出是 $h_1$，$y_1$=$f(h_0,x_1)$ 。继续重复这个过程，$h_2$，$y_2$=$f(h_1,x_2)$。就是用$f()$这个函数不断去简化网络。但是这里有一个重点**$h^i$和$h^{i-1}$**
   • Deep RNN:
     $h^{‘}$,y=$f_1(h,x)$
     $b^{‘}$,c=$f_2(b,y)$
     这里注意上下两条的y是同一个y。
     
   • Bidirectional RNN:
     $h^{‘},a=f_1(h,x)$
     $b^{‘},c=f_2(b,x)$
     $y=f_3(a,c)$
     
   • Pyramidal RNN(循环神经网络)：每一层把下一层的好几个block的输出作为自己的输入，那么就可以减少sequence的长度。
     
   • Naive RNN：$h^{‘}，y=f(h,x)$
     $h^{‘}=\sigma (w^{h}h+w^{i}x)$
     $y=\sigma (w^0{h}^{‘})$

4. LSTM(长短时记忆网络)：
   

   • $c^t$和$c^{t-1}$之间是相加的关系，也就是$c^t$是变化很慢的。
   • $h^t$和$h^{t-1}$之间差别很大，也就是$c^t$是变化很快的。
   • 运算过程：
     
     这里把$x^t$和$h^{t-1}$看成是并在一起，再乘上w(一个矩阵)
     $c^t$和$y^t$和$h^t$的得到过程是：
     

5. GRU(Gated Recurrent Unit)：