- 博客(2)
- 收藏
- 关注
原创 Sigmoid型和ReLU型激活函数
1.Sigmoid型函数Sigmoid 型函数是指一类S 型曲线函数,为两端饱和函数.常用的Sigmoid型函数有Logistic 函数和Tanh 函数.1.1 Hard-Logistic 函数和Hard-Tanh 函数图4.2给出了Logistic 函数和Tanh 函数的形状.Tanh 函数的输出是零中心化的(Zero-Centered),而Logistic函数的输出恒大于0.非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移(Bias Shift),并进一步使得梯度下降...
2021-10-17 14:18:24
421
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人