Tensorflow小小小白学习随想（一） 手动更新学习率的几种写法

Tensorflow小小小白学习随想（一）
手动更新学习率的几种写法@TOC

在会话中也可以创建op

#今天看别人的代码时看到更新学习率是这样写的：
	for epoch in range(51):
		sess.run(tf.assign(lr,0.01*(0.95**epoch))
#刚开始看到有点不太明白这个是什么操作，最后我把它理解为在会话中也可以创建op.(要注意tf.assign的返回值是一个op,不run它的话没有办法真正赋值).
#具体的对于这一句的理解是：在会话中先创建了一个赋值的op,再run这个op，完成真正的赋值

第一种等价写法

等价于在计算图中设置epo占位符:

epo=tf.placeholder(tf.float32)

再创建赋值op:

lr_new=tf.assign(lr,0.001*(0.95**epo))

然后在会话中的epoch循环中:

sess.run(lr_new,feed_dict={epo:epoch})

第二种等价写法

还等价于在计算图中只需创建赋值op：

lr_new=tf.assign(lr,lr*0,95)

然后在会话中的epoch循环中：

sess.run(lr_new)

注意

当然了这几种方法都不要忘记的是lr在计算图中设置为Variable类型：

lr=tf.Variable(0.001,tf.float32)

这三种方法具体形式是次要，但是研究明白这几种方法会对op,variable,run这些概念有更好的理解～