激活函数及其梯度
激活函数 达到某一阈值输出
*激活函数可导
1.Sigmoid / Logistic
压缩到[0,1]
缺陷:x = +-∞,导数→0,参数=参数 导致长时间不更新,即梯度离散
2.Tanh
压缩到[-1,1]
3.Rectified Linear Unit(ReLU)
减少了梯度离散和梯度爆炸情况
激活函数及其梯度
激活函数 达到某一阈值输出
*激活函数可导
1.Sigmoid / Logistic
压缩到[0,1]
缺陷:x = +-∞,导数→0,参数=参数 导致长时间不更新,即梯度离散
2.Tanh
压缩到[-1,1]
3.Rectified Linear Unit(ReLU)
减少了梯度离散和梯度爆炸情况