Relu = rectified linear unit
修正指的是,取值大于0
使用Relu函数而不是Sigmoid函数的原因是:在x较大时,Sigmoid函数值接近于1,导数接近0,梯度下降特别慢。而Relu函数的梯度在X>0时一直为1,梯度下降快
Relu = rectified linear unit
修正指的是,取值大于0
使用Relu函数而不是Sigmoid函数的原因是:在x较大时,Sigmoid函数值接近于1,导数接近0,梯度下降特别慢。而Relu函数的梯度在X>0时一直为1,梯度下降快