激活函数整理

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

前面的网络层比后面的网络层梯度变化更快是什么意思？
这篇文章梯度消失与梯度爆炸的原因以及解决方案------https://blog.csdn.net/keeppractice/article/details/107208672
这里要清楚：
1.每个函数的功能
2.函数各自的优缺点

---

激活函数

激活函数的作用

加入激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题。
https://zhuanlan.zhihu.com/p/25279356
—————————————————————

Sigmoid函数

功能：

sigmoid函数的功能是相当于把一个实数压缩至0到1之间。当z是非常大的正数时，g(z)会趋近于1，而z是非常小的负数时，则g(z)会趋近于0。压缩至0到1有何用处呢？用处是这样一来便可以把激活函数看作一种“分类的概率”，比如