在神经网络中,常用的激活函数(activation function)有以下几种:
1、sigmoid函数
2、双曲正切函数 tanh()
3、修正线性函数 rectified linear function
f(x)=max(0,x)
它的特点是被认为是more biologically plausible than widely used logistic sigmoid or hyperbolic tangent(双曲正切 tanh),就是说更加符合神经元信号激励原理。采用了rectified linear function作为activation function的unit被称为rectified linear unit。它的一个平滑解析函数为f(x)=ln(1+ex),被称之为softplus function,softplus的微分就是logistic function。
4、softmax函数
应用于softmax regression中