吴恩达深度学习--浅层神经网络

什么是神经网络

• 神经网络的作用是给定一组输$(x_1,x_1...x_n)$经过一系列的计算得出一个输出a，然后将输出a和实值y作比较，不断地调整参数，最终使得输出a的值达到合适的位置。
  
• 如图二所示，它的计算流程是：
  
  -反向传播是将loss反向传播回去，本质是链式法则求导，然后更新权重参数。

神经网络的层数

• 如图一的神经网络，它包括输入层，隐藏层和输出层，分别是第0层、第1层、第2层。但是我们不把输入层称为一层，所以这个神经网络只有2层，也称作单隐层神经网络。

神经网络的表达

• 由图3可以看出，每一层的计算包括两部分，一部分是计算出z的值，另一部分是利用激活函数求出输出值。对于一个单隐层的神经网络来说，它的计算如下：
• 第一层
  $z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]},a_1^{[1]}=\delta(z_1^{[1]})$

          $z_2^{[1]}=w_2^{[1]T}x+b_2^{[1]},a_2^{[1]}=\delta(z_2^{[1]})$

          $z_3^{[1]}=w_3^{[1]T}x+b_3^{[1]},a_3^{[1]}=\delta(z_3^{[1]})$

          $z_4^{[1]}=w_4^{[1]T}x+b_4^{[1]},a_4^{[1]}=\delta(z_4^{[1]})$

• 第二层
  $z^{[2]}=w^{[2]T}a^{[1]}+b^{[2]},a^{[2]}=\delta(z^{[2]})$

神经网络的向量化表达

• 向量化可以消除for循环带来的低效率，在非向量化的伪代码表示为：
  $for-i=1-to-m$

  $z^{[1](i)}=W^{[1]}x^{(i)}+b^{[1]}$

  $a^{[1](i)}=\delta(z^{[1](i)})$

  $z^{[2](i)}=W^{[2]}a^{[1](i)}+b^{[2]}$

  $a^{[2](i)}=\delta(z^{[2](i)})$

• 向量化表示为

  $Z^{[1]}=W^{[1]}X+b^{[1]}$

  $A^{[1]}=\delta(Z^{[1]})$

  $Z^{[2]}=W^{[2]}X+b^{[2]}$

  $A^{[2]}=\delta(Z^{[2]})$

**

• 最后附Ng大佬视频截图