算法知识点-激活函数

sigmoid激活函数：1/(1+e^-z)。容易造成梯度消失，原因在于输入极大或者极小时，其导数趋近于0.
tanh双正切函数：（e^x-e^-x）/(e^x+e^-x)。
relu激活函数：大于0时为本身，小于等于0为0。可以使得部分输出为0，形成网络稀疏性，有效缓解梯度消失。
softmax:用于分类概率。eⁱ/累加e^j
Prelu、leakyRelu。其变体。小于0时不为0.带参数为p。