吴恩达-深度学习整理

神经网络基础

---

浅层神经网络

第一层输入特征叫做输入层，中间成为隐藏层，最右边一个节点的成为输出层，负责产生输出值。通过矩阵相乘实现从左到右的前向计算：

激活函数

1. sigmoid函数：其公式为：
   导数：
   特点是其值域为(0,1)，可以作为二分类最后一层的输出
2. tanh函数：其公式为:
   导数：
   其值域为(-1,+1),均值接近0均值，效果要优于sigmoid，但是缺点便是当z特别大或者特别小的时候，导数的梯度和斜率就会接近0，降低梯度下降的速度。
3. Relu函数:其公式为：
   导数：
   修正线性单元，当z大于0时斜率为固定值1，当z=0时，z可以取[0,1]的任意值，当z小于0时，导数为0。不会产生梯度消失的情况，但是进入负半区的时候则会产生死单元。由于偏置量b的存在