- Sigmoid在backpropagation时会造成梯度消失,初始化权重不要设太大,否则容易饱和没有梯度从而无法学习。
- 对于softmax,有多个输出值,当输入值之间的差异变得极端时,这些输出值可能饱和,当softmax饱和时,基于softmax的许多代价函数也饱和,除非它们能够转化饱和的激活函数。
- Ian GoodFellow不建议在前反馈中用sigmoid和softmax, sigmoid和softmax在循环神经网络中更有用。
激活函数sigmoid 和softmax
最新推荐文章于 2024-06-12 19:05:47 发布