在深度学习中,常常要用到激活函数,激活函数在深度学习模型中非常重要,激活函数的选取极大地关系到模型的好坏,在此介绍一些常用的激活函数及其最常用的使用场景。图源网络,侵删。
什么是激活函数
激活函数顾名思义,就是将深度学习中的线性加权激活,引入非线性的因素。如果没有激活函数,神经网络只是简单地矩阵相乘,无论叠加了多少层,仍然是矩阵相乘,都只是线性的变换,但是在矩阵相乘后,引入一个激活函数,便引入了一个非线性的特性,在很多复杂的模型中,引入非线性特性是非常必要的。因此,神经网络中上一层到下一层之间,在传入下一层之前,进行的非线性变换,这个函数便叫做激活函数。激活函数的作用是将神经元的输出进行一个缩放,无论值为多少,输出都缩放到一个0-1的区间内。如图。
常见的激活函数有sigmoid、ReLU、ELU 以及更新的 Leaky ReLU、SELU、GELU 等,下面将一一介绍并总结他们的优缺点及使用场景。
1. sigmoid激活函数
sigmoid 函数是一个 logistic 函数,意思就是说:不管输入是什么,得到的输出都在 0 到 1 之间。也就是说,你输入的每个神经元、节点或激活都会被缩放为一个介于 0 到 1 之间的值。