吴恩达深度学习学习笔记——C1W3——浅层神经网络-2

 3.6 激活函数

3.7 为什么需要非线性激活函数？

3.8 激活函数的导数

参考文章：

1. sigmoid函数求导过程

https://blog.csdn.net/zhangyingjie09/article/details/82180199

1. Tanh激活函数及求导过程

https://blog.csdn.net/qq_35200479/article/details/84502844

3.9 神经网络的梯度下降法

3.10 （选修）直观理解反向传播

3.11 随机初始化

为什么不能将权重W初始化为零？因为这样做的话，同一隐层的每个节点的值将始终保持相同，失去了使用多个节点的意义（模型将过于简单，而难以有所作为）