Tensorflow累加的实现

由于python内部的变量其实都是reference，而Tensorflow实现的时候也没有意义去判断输出是否是同一变量名，从而判定是否要新建一个Tensor用于输出。Tensorflow为了满足所有需求，定义了两个不同的函数：tf.add和tf.assign_add。从名字即可看出区别，累加应该使用tf.assign_add。同理的还有tf.assign_sub和tf.assign。

具体地，笔者需要一个iteration counter类似的变量，即每次使用一个batch更新参数之后都使得该变量加一，进而控制learning rate等参数来调节学习过程。最初的实现如下：

a = tf.Variable(tf.zeros(1))
a = tf.add(a,tf.ones(1))

sess = tf.Session()
sess.run(tf.global_variable_initializer())
for i in range(1000):
    print(sess.run(a))

那因为第一行代码输出的a和第二行代码输出的a，虽然变量名相同，但是实质指向的变量以及空间都不同，每次输出的都是1。

更改后的代码则是如下：

a = tf.Variable(tf.zeros(1))
a = tf.assign_add(a,tf.ones(1))

sess = tf.Session()
sess.run(tf.global_variable_initializer())
for i in range(1000):
    print(sess.run(a))