tensorflow简单使用案例--mnist数集分类（2）-二次代价函数

1.二次代价函数

输出a之前要经过激活函数？为什么？

二次代价函数：

2.梯度下降法

假如我们使用梯度下降法(Gradient descent)来调整权值参数的大小，w和b的梯度跟激活函数的梯度成正比，激活函数的
梯度越大，w和b的大小调整得越快，训练收敛得就越快。

3.交叉熵代价函数（不改变激活函数）

二次代价函数权值修正效果不好。

改变代价函数，改用交叉熵代价函数：

不作推到了………………

4.结论

1.交叉熵代价函数：权值和偏置值的调整与无关，另外，梯度公式中的 表示输出值与实际值的误差。所以当误差越大时，梯度就越大，参数w和b的调整就越快，训练的速度也就越快。