Tensorflow基础代码报错学习笔记8——Optimizer优化器

原教程地址

最基础的优化方法

Stochastic Gradient Descent(SGD)
思路：
将数据分为小批小批的，再进入NN中计算
每次采用批量数据，虽然不能整体上反映数据的情况，不过在很大程度上加速了NN的训练过程，并且不会损失很多准确率

其他优化方法

SGD并不是最快的优化方法
其他方法大部分是在神经网络训练参数的时候动手脚
W += - Learning rate * dx
dx为校正值

Momentum

这种方法可能会另学习过程曲折无比，就像一个喝醉的人，所以把它放在一个斜坡上（参考原教程的图示），由于向下的惯性，它会不自觉地一直往下走，走的弯路就会变少

数学形式为：
m = b1 * m - learning rate * dx
W += m

AdaGrad

这种方法在学习率上动手脚，使每一个参数的更新都会有与众不同的学习效率，这种方法并不是给一个喝醉的人安排另一个斜坡，而是给他一双不好走的鞋子，使得鞋子变成走弯路的阻力，逼着他往前直走

数学形式为：
v += dx^2
w += -Learning r