深度学习常用优化器介绍

    深度学习的优化算法从SGD-->SGDM-->NAG-->AdaGrad-->AdaDelta-->Adam-->Nadam这样的发展历程，理论知识参考这里，下面我们依次介绍TensorFlow中这些优化器的实现类，官方文档。

1、tf.train.Optimizer

    优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer.等等这些。 后面讲的时候会详细讲一下GradientDescentOptimizer 这个类的一些函数，然后其他的类只会讲构造函数，因为类中剩下的函数都是大同小异的。

2、tf.train.GradientDescentOptimizer

    这个类是实现梯度下降算法的优化器。(结合理论可以看到，这个构造函数需要的一个学习率就行了)

（1） __init__(learning_rate, use_locking=False,name=’GradientDescent’)

     参数： 
        learning_rate: A Tensor or a floating point value. 要使用的学习率 
        use_locking: 要是True的话，就对于更新操作&#