- 博客(1)
- 收藏
- 关注
原创 神经网络学习笔记
非线性激活函数 若选取线性激活函数,得到的输出与输入只能是线性函数,隐藏层毫无意义。非线性激活函数可以发挥深层神经网络的优势,计算更有趣的函数。 线性激活函数只可以应用在输出层或回归问题。 sigmod函数和tanh函数的导数均小于1,容易造成梯度消失的问题,当z很大或很小时,函数的斜率会很小,接近于0,这样会拖慢梯度下降速率。所以更多使用relu或leaky relu函数。 sigmod函数 ...
2019-07-14 11:27:26 125
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人