TensorFlow学习笔记（四）--activation function

注：本笔记图片和部分文字描述来源于百度百科，ReLU则是来自《深度学习》译本

 激励函数，亦作激活函数。百度百科的定义如下：神经网络中的每个节点接受输入值，并将输入值传递

给下一层，输入节点会将输入属性值直接传递给下一层（隐层或输出层）。在神经网络中，隐层和输出层节点

的输入和输出之间具有函数关系。常见的激励函数有：Rectified Linear Unit（ReLU）、阈值或阶跃激励函

数、sigmoid function、tanh和高斯激励函数等。

作为激励函数的条件：

 （1）函数必须输出[0，1]之间的值；

 （2）函数在充分活跃时，将输出一个接近1的值，表示从未在网络中传播活跃性。


 部分激活函数详解：

 ReLU：其数学表达式g(x)=max{0,z}，该激活函数是被推荐用于大多数的前馈神经网络的默认激活函数。

将此函数用于线性变换的输出将产生非线性变换。然而，函数仍然非常接近线性，在这种意义上他是具有两个

线性部分的分段线性函数。由于线性整流函数几乎是线性的，因此他们还保留了许多使得线性模型易于使用基

于梯度的方法进行优化的属性。它们还保留了许多使得线性模型能够泛化良好的属性。

函数图像如下图所示：

 

sigmoid_function：

 由下列公式定义：

       

函数图像如下：

     

 tanh：

下列是公式定义：

       

 下面是图像：