(一)二次代价函数:
从上述参数更新公式来看,二次代价函数的使用是有弊端的(受激活函数的导数影响较大),举例子说明:
(二)交叉熵代价函数
基于二次代价函数的不足,提出交叉熵代价函数(cross-entropy):
(三)对数似然代价函数
关于对数似然函数和神经网络最后一层使用softmax的情况,可以参考:https://blog.csdn.net/u014313009/article/details/51045303
(一)二次代价函数:
从上述参数更新公式来看,二次代价函数的使用是有弊端的(受激活函数的导数影响较大),举例子说明:
(二)交叉熵代价函数
基于二次代价函数的不足,提出交叉熵代价函数(cross-entropy):
(三)对数似然代价函数
关于对数似然函数和神经网络最后一层使用softmax的情况,可以参考:https://blog.csdn.net/u014313009/article/details/51045303