tensorflow学习笔记（3）：优化器optimizer

官方文档

http://www.tensorfly.cn/tfdoc/api_docs/python/train.html

1.class tf.train.Optimizer

优化器（optimizers）类的基类。这个类定义了在训练模型的时候添加一个操作的API。你基本上不会直接使用这个类，但是你会用到他的子类比如GradientDescentOptimizer, AdagradOptimizer, MomentumOptimizer.等等这些。 
后面讲的时候会详细讲一下GradientDescentOptimizer 这个类的一些函数，然后其他的类只会讲构造函数，因为类中剩下的函数都是大同小异的。

2.class tf.train.GradientDescentOptimizer

这个类是实现梯度下降算法的优化器。(结合理论可以看到，这个构造函数需要的一个学习率就行了)

__init__(learning_rate, use_locking=False,name=’GradientDescent’)

作用：创建一个梯度下降优化器对象 
参数： 
learning_rate: A Tensor or a floating point value. 要使用的学习率 
use_locking: 要是True的话，就对于更新操作（update operations.）使用锁 
name: 名字，可选，默认是”GradientDescent”.

compute_gradients(loss,var_list=None,gate_gradients=GATE_OP,aggregation_method=None,colocate_gradients_with_ops=False,grad_loss=None)

作用：对于在变量列表（var_list）中的变量计算对于损失函数的梯度,这个函数返回一个（梯度，变量）对的列表，其中梯度就是相对应变量的梯度了。这是minimize()函数的第一个部分， 
参数： 
loss: 待减小的值 
var_list: 默认是在GraphKey.TRAINABLE_VARIABLES. 
gate_gradients: How to gate the computation of gradients. Can be GATE_NONE, GATE_OP, or GATE_GRAPH. 
aggregation_method: Specifies the method used to combine gradient terms. Valid values are defined in the class AggregationMethod. 
colocate_gradients_with_ops: If True, try colocating gradients with the corresponding op. 
grad_loss: Optional. A Tensor holding the gradient computed for loss.

apply_gradients(grads_and_vars,global_step=None,name=None)

作用：把梯度“应用”（Apply）到变量上面去。其实就是按照梯度下降的方式加到上面去。这是minimize（）函数的第二个步骤。 返回一个应用的操作。 
参数: 
grads_and_vars: compute_gradients()函数返回的(gradient, variable)对的列表 
global_step: Optional Variable to increment by one after the variables have been updated. 
name: 可选，名字

get_name()

minimize(loss,global_step=None,var_list=None,gate_gradients=GATE_OP,aggregation_method=None,colocate_gradients_with_ops=False,name=None,grad_loss=None)

作用：非常常用的一个函数 
通过更新var_list来减小loss，这个函数就是前面compute_gradients() 和apply_gradients().的结合

3.tf.train.AdagradOptimizer

tf.train.AdagradOptimizer.__init__(learning_rate, initial_accumulator_value=0.1, use_locking=False, name='Adagrad')

Args:

• learning_rate: 学习率
• initial_accumulator_value: 浮点值。累加器的起始值必须是正的。
• use_locking: If True use locks for update operations.
• name: Optional name prefix for the operations created when applying gradients. Defaults to "Adagrad".

Raises:

• ValueError: If the initial_accumulator_value is invalid.

• 

4.class tf.train.MomentumOptimizer

Args:

• learning_rate: A Tensor or a floating point value. 学习率
• momentum: A Tensor or a floating point value. 动量
• use_locking: If True use locks for update operations.
• name: Optional name prefix for the operations created when applying gradients. Defaults to "Momentum".

5.class tf.train.AdamOptimizer

tf.train.AdamOptimizer.__init__(learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-08, use_locking=False, name='Adam')

Args:

• learning_rate: A Tensor or a floating point value. 学习率
• beta1: A float value or a constant float tensor. The exponential decay rate for the 1st moment estimates.
• beta2: A float value or a constant float tensor. The exponential decay rate for the 2st moment estimates.
• epsilon: A small constant for numerical stability.
• use_locking: If True use locks for update operation.s
• name: Optional name for the operations created when applying gradients. Defaults to "Adam".

6.tf.train.FtrlOptimizer

tf.train.FtrlOptimizer.__init__(learning_rate, learning_rate_power=-0.5, initial_accumulator_value=0.1, l1_regularization_strength=0.0, l2_regularization_strength=0.0, use_locking=False, name='Ftrl')

FtrlOptimizer:FtrlOptimizer更新方法主要用于广告点击预测,广告点击预测通常千万级别的维度,因此有巨量的稀疏权重.其主要特点是将接近0 的权重直接置0,这样
计算时可以直接跳过,从而简化计算.这个方法已经验证过在股票数据上较有效

Args:

• learning_rate: A float value or a constant float Tensor.学习率
• learning_rate_power: A float value, 必须小于或等于零.
• initial_accumulator_value: The starting value for accumulators. 只允许正值.
• l1_regularization_strength: A float value,必须大于或等于零。
• l2_regularization_strength: A float value, 必须大于或等于零。
• use_locking: If True use locks for update operations.
• name: Optional name prefix for the operations created when applying gradients. Defaults to "Ftrl".

7.tf.train.RMSPropOptimizer

tf.train.RMSPropOptimizer.__init__(learning_rate, decay, momentum=0.0, epsilon=1e-10, use_locking=False, name='RMSProp')

Args:

• learning_rate: A Tensor or a floating point value. 学习率
• decay: discounting factor for the history/coming gradient，历史梯度的贴现因子，即将到来的梯度折扣因子
• momentum: a scalar tensor.动量
• epsilon: 小值避免零分母。
• use_locking: If True use locks for update operation.
• name: Optional name prefic for the operations created when applying gradients. Defaults to "RMSProp".

8.class tf.train.AdadeltaOptimizer

实现了 Adadelta算法的优化器，可以算是下面的Adagrad算法改进版本

构造函数： 
tf.train.AdadeltaOptimizer.init(learning_rate=0.001, rho=0.95, epsilon=1e-08, use_locking=False, name=’Adadelta’)

作用：构造一个使用Adadelta算法的优化器 
参数： 
learning_rate: tensor或者浮点数，学习率 
rho: tensor或者浮点数. The decay rate. 
epsilon: A Tensor or a floating point value. A constant epsilon used to better conditioning the grad update. 
use_locking: If True use locks for update operations. 
name: 【可选】这个操作的名字，默认是”Adadelta”