一、二次损失函数
公式：
其中，C表示代价函数，x表示样本，y表示实际值，a表示输出值，n表示样本的总数好，（L是代表什么，我也不知道，但这不重要）。
重点：假如我们使用梯度下降法来调整权值参数的大小，权值w和偏置b的梯度推导公式：
其中，z表示神经元的输入，σ表示激活函数。w和b的梯度跟激活函数的梯度成正比，激活函数的 梯度越大，w和b的大小调整得越快，训练收敛得就越快。
因此参数的梯度的大小不与误差的大小有关还与激活函数的梯度梯度有关
二、交叉熵代价函数
公式：
本文详细探讨了神经网络中的二次损失函数和交叉熵损失函数，解释了它们在梯度下降法中的作用。二次损失函数中，参数更新不仅与误差有关，还与激活函数的梯度相关。而交叉熵损失函数在激活函数为sigmoid时，参数更新只依赖于误差，训练速度更快。根据输出神经元特性，线性输出适合二次损失，S型输出则推荐交叉熵损失，softmax激活函数常配合对数似然损失函数。
最低0.47元/天 解锁文章
1570
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
