qq_43038970的博客

原创 激活函数的选择

激活函数sigmoid函数的导数值范围为(0,0.25]，反向传播时会导致梯度消失 sigmoid函数不是0中心对称，输出均大于0tanh函数的导数值范围为 (0,1]，相对范围较大，但仍会导致梯度消失 tanh函数是0中心对称，可以使网络收敛的更好ReLU函数的左侧导数为0，右侧导数恒为1，避免了小数的连乘，但反向传播中仍有权值的累乘。ReLU函数改善了“梯度消失”现象。...