一、sigmiod激活函数
激活函数公式:
画图代码:
https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/sigmiod.py
特点:
1.输入结果为连续实值,值域为(0,1);
2.负无穷的结果为0,正无穷结果为1
缺点:
可能会产生梯度消失,小概率产生梯度爆炸。
二、tanh激活函数
激活函数公式:
画图代码:
https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/tanh.py
特点:
1.定义域:R ,值域为(-1,1)
2.与sigmiod函数相似
对比sigmiod函数:
1.tanh激活函数均值为0,而sigmiod函数均为不为0,意味着自带了一个bias,相比tanh激活函数,sigmiod激活函数会让收敛变慢
2.tanh在原点的导数大于sigmiod在原点的导数,tanh相比于Sigmoid函数更容易训练,具有优越性
Relu激活函数(目前相对来讲在深度学习中运用较广)
激活函数公式:
代码画图:https://github.com/HuangxinYu359/project/blob/master/nn/numpy%E6%A8%A1%E6%8B%9F%E7%A5%9E%E7%BB%8F%E7%BD%91%E7%BB%9C/ReLU.py
特点:
1.单侧抑制,Relu实现稀疏后的模型能够更好的挖掘相关特征;
2.对于线性函数,Relu的表达能力更强,尤其在深度学习中;
3.不存在梯度消失的问题,收敛速度也相对稳定