机器学习中的梯度消失问题vanishing gradient
翻译自Nikhil Garg的Quora回答。梯度消失是使用梯度下降方法的神经网络中出现的问题,其表现是,在反向回馈(backpropagation)中使整个网络难以调节前面几层的参数(Parameter)。当网络的层数越多时,梯度消失表现越明显。这个问题不是神经网络所带来的,而是由特定的激活函数(activation function)采用梯度下降的方法所带来的。问题梯度下降方法通过参数的细小变...
翻译
2018-04-29 18:01:20 ·
1516 阅读 ·
1 评论