20、TensorFlow教程--- 优化器

优化器是扩展类，其中包含训练特定模型所需的附加信息。优化器类使用给定的参数进行初始化，但重要的是要记住不需要 Tensor。优化器用于提高训练特定模型的速度和性能。

TensorFlow 的基本优化器是 −

tf.train.Optimizer

这个类在 tensorflow/python/training/optimizer.py 的指定路径中定义。

以下是一些 TensorFlow 中的优化器 −

- 随机梯度下降（Stochastic Gradient Descent）
- 带梯度剪切的随机梯度下降（Stochastic Gradient Descent with Gradient Clipping）
- 动量（Momentum）
- Nesterov 动量（Nesterov Momentum）
- Adagrad
- Adadelta
- RMSProp
- Adam
- Adamax
- SMORMS3

我们将专注于随机梯度下降优化器。创建该优化器的示例如下所示 −

def sgd(cost, params, lr = np.float32(0.01)):
   g_params = tf.gradients(cost, params)
   updates = []
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定函数内定义。在我们的后续章节中，我们将专注于梯度下降优化以及优化器的实现。