relu函数_深度学习中常用的激活函数详解

什么是激活函数？

如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机(Perceptron)。激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

图1 神经网络示意图

下面我将介绍深度学习中常用的激活函数

linear(线性激活函数)

linear函数的表达式为：

即不做任何改变。

exponential(自然数指数激活函数)

exponential函数的表达式为：

sigmoid

sigmoid函数的定义为：

sigmoid函数的图像如下：

sigmoid函数图像

sigmoid函数的导数为：

导函数图像为：

sigmoid导函数图像

优点：sigmoid函数可以将实数映射到