tensorflow基础知识4, 优化器的搭配函数，二次代价函数、交叉熵代价函数、对数释然代价函数

1、二次代价函数（quadratic cost）

 

 

 

假设我们目标是收敛到1，A点为0.82离目标比较远，梯度比较大，权值调整比较大。B点为0.98，离目标比较近，梯度比较小，权值调整比较小，调整方案合理。

假设我们目标是收敛到0，A点为0.82离目标比较近，梯度比较大，权值调整比较大。B点为0.98，离目标比较远，梯度比较小，权值调整比较小，调整方案不合理。

 

 

2、交叉熵代价函数

因为二次代价函数在上述情况下调整不合理，所以提出了交叉熵代价函数。