深度学习常用激活函数

在感知器模型、神经网络模型、深度学习模型中均会看见激活函数的声影。激活函数又被称为转移函数、激励函数、传输函数或限幅函数，其作用就是将可能的无限域变换到一指定的有限范围内输出，这类似于生物神经元具有的非线性转移特性。

常用的激活函数有：线性函数、斜坡函数、阶跃函数、符号函数、Sigmoid函数、双曲正切函数、Softplus函数、Softsign函数、Relu函数及其变形、Maxout函数等。

线性函数

线性函数是最简单的激活函数：

$$y=F(x)=kx.$$
其中 $y$为输出值， $x$为输入信号的加权和， $k$是一个常数，表示直线的斜率。

在深度学习模型中，线性函数几乎不被用到。因为其体现不出深度学习模型的价值，如假定深度学习模型有 $m$层，则最终的输出为 $y=k_mk_{m-1}...k_1x$，其等价于单层的线性模型 $y=k^{'}x$（ $k^{'}=k_mk_{m-1}...k_1$）的输出。

斜坡函数

斜坡函数的定义如下所示：

y=F(x)=⎧⎩⎨⎪⎪r,x,−r,当x≥