deeplearning.ai神经网络和深度学习学习笔记

逻辑回归

单个样本的情况如下：

前向传播

假设一个样本有2个特征$x_{1},x_{2}$，从左向右传播，依次求出$z,a$和损失函数，我们需要一次次的更新参数$w_{1},w_{2},b$来最小化损失函数。

求损失函数导数

m个样本的梯度下降

上述情况是一个样本的损失函数最小化过程，下面是训练集整体m个样本的过程：
首先来一些数学上符号的表示，这些符号在这门课中频繁使用。
- 整体的损失函数

$$J\left ( w,b \right )=\frac{1}{m}\sum_{i=1}^{m}L\left (a^{\left(i\right)},y^{\left(j\right)} \right )$$
$$\frac{\partial J\left ( w,b \right )}{\partial_{w_{1}}}=\frac{1}{m}\sum_{m}^{i=1}\frac{\partial L\left ( a^{\left(i\right)},y^{\left(j\right)} \right )}{\partial_{w_{1}}}$$

向量化

在计算形如$z=w^{T}x+b$会涉及大量运算，如果使用for循环串行计算很费时，使用numpy的矩阵运算大大节省时间，这也是为什么都用矩阵或者向量表示的一个原因。

浅层神经网络

神经网络表示

浅层神经网络运算的向量表示

• 一个样本的向量表示
  
• m个样本向量表示

激活函数

一般双曲正切激活函数在隐藏层中比sigmod更合适，除非在输出层使用sgmoid