sigmoid的缺点:
1.神经元接近0或1时会饱和,导致梯度消失。
2.sigmoid取值范围[0,1],不是0中心的。影响反向传播时梯度下降的运作,梯度要么正数要么负数,权重更新Z字型下降,不过算是个小问题。
tanh是一个简单放大的sigmoid神经元,取值范围[-1, 1]
ReLU函数,公式为f(x) = max(0, x)
优点:
1.线性,收敛速度快。
2.不含指数运算等,节约计算资源。
层数越深,ReLU相对sigmoid和tanh的优势越明显
sigmoid的缺点:
1.神经元接近0或1时会饱和,导致梯度消失。
2.sigmoid取值范围[0,1],不是0中心的。影响反向传播时梯度下降的运作,梯度要么正数要么负数,权重更新Z字型下降,不过算是个小问题。
tanh是一个简单放大的sigmoid神经元,取值范围[-1, 1]
ReLU函数,公式为f(x) = max(0, x)
优点:
1.线性,收敛速度快。
2.不含指数运算等,节约计算资源。
层数越深,ReLU相对sigmoid和tanh的优势越明显