2019.10.15 工作进度报告

一、完成的事项

学习了《神经网络和深度学习》课程 第三周（5~8）

二、笔记

1.激活函数

视频中提及的激活函数：

1. sigmoid(z) = 1 / [1+e^(-z)]
2. tanh(z) = (e^z-e^-z) / (e^z+e^-z)
3. RELU ➡ a = max(0,z) // leaky RELU

一般来说 tanh() 函数会比 sigmoid() 函数要优秀，因为它有数据中心化的作用（使数据的平均值接近于0）
除了输出层（结果在0 ~ 1 之间会比在-1 ~ 1之间要好）
但是，我们通常使用RELU函数

2.各激活函数的导数