- 博客(2)
- 收藏
- 关注
RSS订阅
1原创 神经网络——损失函数
如：1/x对x求偏导得到-1/x*x ,x输入为1.37代入得到-0.53为该层梯度值，窜给上一层上一层计算得到自身阶层1但要与传回的梯度值相乘得到该层的梯度值为0.53再传给上一层....如图神经网络中输入1*3,隐层1*4，则输入乘以一个【3,4】的权重矩阵获得，隐层2同理，最后乘以一个【4,1】的权重矩阵获得输出。Sigmoid函数在数值较大或者数值较小的情况下，求导结果就不好了，出现梯度消失的现象（由于个别层的影响，最后计算出的梯度没了）归一化值越接近于1损失值越小，归一化值越接近于0损失值越大。
2023-04-04 16:29:32
344
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人