常见的激活函数

最近学习了激活函数，在这里和大家分享一下知识，大家共勉。

首先，常见的激活函数有三个：relu函数、tanh函数、sigmoid函数

relu函数：定义为元素x和0的最大值（ max(x,0) ）

简单说relu函数就是：去掉非负的元素，把所有为负的元素变为0，正数保持不变。

relu图像为：

sigmoid函数：又称挤压函数，它可以把范围（‐inf, inf）中的任意输入压缩到区间（0, 1）中的某个值。

公式为：

 其图像为：

tanh函数 ：跟sigmoid功能类似，把输入压缩到（-1,1）的区间

公式为：

其图像为：

 它的图像与sigmoid的不同点是中心点的不同，tanh的中心点为（0,0）,sigmoid的中心点为：（0,0.5）

以上就是简要概括了一下三个激活函数的简单作用和图像，希望大家能有所收获。