常用的激活函数（Sigmoid、Tanh、ReLU等）

目录

一、激活函数定义

二、梯度消失与梯度爆炸 

1.什么是梯度消失与梯度爆炸

2.梯度消失的根本原因

3.如何解决梯度消失与梯度爆炸问题 

三、常用激活函数

1.Sigmoid

2.Tanh

3.ReLU

4.Leaky ReLU

5.ELU

6.softmax

7.Swish

---

一、激活函数定义

        激活函数 (Activation functions) 对于人工神经网络模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到神经网络中。在下图中，输入的 inputs 通过加权，求和后，还被作用了一个函数f，这个函数f就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

为什么使用激活函数？

        如果不用激励函数（其实相当于激励函数是f(x) = x），在这种情况下你每一层节点的输入都是上层输出的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（Perceptron）了，那么网络的逼近能力就相当有限。正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络表达能力就更加强大（不再是输入的线性组合，而是几乎可以逼近任意函数）。

激活函数有哪些性