注:本笔记图片和部分文字描述来源于百度百科,ReLU则是来自《深度学习》译本
激励函数,亦作激活函数。百度百科的定义如下:神经网络中的每个节点接受输入值,并将输入值传递
给下一层,输入节点会将输入属性值直接传递给下一层(隐层或输出层)。在神经网络中,隐层和输出层节点
的输入和输出之间具有函数关系。常见的激励函数有:Rectified Linear Unit(ReLU)、阈值或阶跃激励函
数、sigmoid function、tanh和高斯激励函数等。
作为激励函数的条件:
(1)函数必须输出[0,1]之间的值;
(2)函数在充分活跃时,将输出一个接近1的值,表示从未在网络中传播活跃性。
部分激活函数详解:
ReLU:其数学表达式g(x)=max{0,z},该激活函数是被推荐用于大多数的前馈神经网络的默认激活函数。
将此函数用于线性变换的输出将产生非线性变换。然而,函数仍然非常接近线性,在这种意义上他是具有两个
线性部分的分段线性函数。由于线性整流函数几乎是线性的,因此他们还保留了许多使得线性模型易于使用基
于梯度的方法进行优化的属性。它们还保留了许多使得线性模型能够泛化良好的属性。
函数图像如下图所示:
sigmoid_function:
由下列公式定义:
函数图像如下:
tanh:
下列是公式定义:
下面是图像: