- 博客(2)
- 收藏
- 关注
原创 以单个神经元方式理解梯度消失和梯度爆炸
如上图,这是神经网络中的一个神经元,其中左侧xii12nxii12...n是该神经元的输入,仔细发现的话,可以发现左侧输入中有个1+11,这是为了和bbb相乘得到偏置项(是为了正则化,提高模型的泛化效果才引入的。其中,wii12nwii12...n代表权重,和对应xix_ixi相乘的然后求和。ff(.)f是激活函数,因为前面的求和部分都是线性的,经过非线性的激活函数才能拟合任何形式的函数。(线性函数+线性函数=线性函数啊。
2023-03-25 04:22:30
129
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人