1、二次代价函数(quadratic cost)
假设我们目标是收敛到1,A点为0.82离目标比较远,梯度比较大,权值调整比较大。B点为0.98,离目标比较近,梯度比较小,权值调整比较小,调整方案合理。
假设我们目标是收敛到0,A点为0.82离目标比较近,梯度比较大,权值调整比较大。B点为0.98,离目标比较远,梯度比较小,权值调整比较小,调整方案不合理。
2、交叉熵代价函数
因为二次代价函数在上述情况下调整不合理,所以提出了交叉熵代价函数。
1、二次代价函数(quadratic cost)
假设我们目标是收敛到1,A点为0.82离目标比较远,梯度比较大,权值调整比较大。B点为0.98,离目标比较近,梯度比较小,权值调整比较小,调整方案合理。
假设我们目标是收敛到0,A点为0.82离目标比较近,梯度比较大,权值调整比较大。B点为0.98,离目标比较远,梯度比较小,权值调整比较小,调整方案不合理。
2、交叉熵代价函数
因为二次代价函数在上述情况下调整不合理,所以提出了交叉熵代价函数。