一、二次损失函数
公式:
其中,C表示代价函数,x表示样本,y表示实际值,a表示输出值,n表示样本的总数好,(L是代表什么,我也不知道,但这不重要)。
重点:假如我们使用梯度下降法来调整权值参数的大小,权值w和偏置b的梯度推导公式:
其中,z表示神经元的输入,σ表示激活函数。w和b的梯度跟激活函数的梯度成正比,激活函数的 梯度越大,w和b的大小调整得越快,训练收敛得就越快。
因此参数的梯度的大小不与误差的大小有关还与激活函数的梯度梯度有关
二、交叉熵代价函数
公式: