深度学习之几种常见的激活函数及其用法

在深度学习中，常常要用到激活函数，激活函数在深度学习模型中非常重要，激活函数的选取极大地关系到模型的好坏，在此介绍一些常用的激活函数及其最常用的使用场景。图源网络，侵删。

什么是激活函数

激活函数顾名思义，就是将深度学习中的线性加权激活，引入非线性的因素。如果没有激活函数，神经网络只是简单地矩阵相乘，无论叠加了多少层，仍然是矩阵相乘，都只是线性的变换，但是在矩阵相乘后，引入一个激活函数，便引入了一个非线性的特性，在很多复杂的模型中，引入非线性特性是非常必要的。因此，神经网络中上一层到下一层之间，在传入下一层之前，进行的非线性变换，这个函数便叫做激活函数。激活函数的作用是将神经元的输出进行一个缩放，无论值为多少，输出都缩放到一个0-1的区间内。如图。

常见的激活函数有sigmoid、ReLU、ELU 以及更新的 Leaky ReLU、SELU、GELU 等，下面将一一介绍并总结他们的优缺点及使用场景。

1. sigmoid激活函数

sigmoid 函数是一个 logistic 函数，意思就是说：不管输入是什么，得到的输出都在 0 到 1 之间。也就是说，你输入的每个神经元、节点或激活都会被缩放为一个介于 0 到 1 之间的值。