激活函数最主要的功能是引入了非线性,使得神经网络能够学习和表示非线性。如果没有激活函数,神经网络只能执行线性变换。
sigmoid函数的导数最大值为0.25,如果该神经网络有多个隐藏层,通过反向传播算法这些导数乘在一起数值会非常小,这就是梯度消失现象。
因为激活函数都大于0 会使得梯度更新都朝着同一个方向,这会使得神经网络会更慢的收敛到预定的位置
激活函数最主要的功能是引入了非线性,使得神经网络能够学习和表示非线性。如果没有激活函数,神经网络只能执行线性变换。
sigmoid函数的导数最大值为0.25,如果该神经网络有多个隐藏层,通过反向传播算法这些导数乘在一起数值会非常小,这就是梯度消失现象。
因为激活函数都大于0 会使得梯度更新都朝着同一个方向,这会使得神经网络会更慢的收敛到预定的位置