Tensorflow--优化器optimizer--加速神经网络训练

Tensorflow中常见的优化器有以下几种：

目前个人比较常用的是第二种优化器。

加速神经网络的训练有以下几种方法：
1.SGD（Stochastic Gradient Descent）随机梯度下降法
它的思想是，将样本数据挨个送入网络，每次使用一个样本就更新一次参数，这样可以极快地收敛到最优值，但会产生较大的波动。还有一种是小批量梯度下降法，它的思想是，将数据拆分成一小批一小批的，分批送入神经网络，每送一批就更新一次网络参数。后者相比前者来说是一种较好的加速方法。

更新参数的方式 w+=-lr * dx lr是学习率，dx 是校正值

2.Momentum
它考虑了不仅仅是当前步的学习效率，还考虑了上一步的学习趋势，所以比SGD的方法更加快速。

大多数其它途径是在更新神经网络参数那一步上动动手脚. 传统的参数 W 的更新是把原始的 W 累加上一个负的学习率(learning rate) 乘以校正值 (dx). 这种方法可能会让学习过程曲折无比。

更新参数的方式 m=b1m-lrdx w+=m

3.AdaGrad
这种方法是在学习率上面动手脚, 使得每一个参数更新都会有自己与众不同的学习率, 他的作用和 momentum 类似。
该方法自动地调整学习率的大小，该方法下的learning rate