- 博客(2)
- 收藏
- 关注
RSS订阅原创 以单个神经元方式理解梯度消失和梯度爆炸
如上图，这是神经网络中的一个神经元，其中左侧xii12nxii12...n是该神经元的输入，仔细发现的话，可以发现左侧输入中有个1+11，这是为了和bbb相乘得到偏置项（是为了正则化，提高模型的泛化效果才引入的。其中，wii12nwii12...n代表权重，和对应xix_ixi相乘的然后求和。ff(.)f是激活函数，因为前面的求和部分都是线性的，经过非线性的激活函数才能拟合任何形式的函数。（线性函数+线性函数=线性函数啊。
2023-03-25 04:22:30
122
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人