Tensorflow基础：变量管理

在上上篇博客中，我们给出了Tensorflow实现mnist识别的完整程序。程序中将计算神经网络前向传播结果的过程抽象成了一个函数。通过这种方式在训练和测试的过程中可以统一调用同一个函数来得到模型的前向传播结果。这个函数定义为：

def inference(input_tensor, avg_class, weights1, biases1,
              weights2, biases2):

从定义中可以看到，这个函数的参数中包括了神经网络中的所有参数。然而，当神经网络的结构更加复杂、参数更多时，就需要一个更好的方式来传递和管理神经网络中的参数了。

变量机制

Tensorflow提供了通过变量名称来创建或者获取一个变量的机制。通过这个机制，在不同的函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式到处传递。

Tensorflow中通过变量名称获取变量的机制主要是通过tf.get_variable和tf.variable_scope函数实现的。

tf.get_variable

Tensorflow可以通过tf.Variable()函数来创建一个变量。除了tf.Variable()函数，tensorflow还提供了tf.get_variable函数来创建或者获取变量。
当tf.get_variable用来创建变量时，它和tf.Variable的功能是基本等价的。以下代码给出了通过这两个函数创建同一个变量的样例：

v = tf.get_variable("v", shape=[1], 
                    initializer=tf.constant_initializer(1.0))
v = tf.Variable(tf.constant(1.0, shape=[1]), name="v")

Tensorflow中提供的initializer函数和随机数以及常量生成函数大部分是一一对应的。例如tf.constant_initializer和常数生成函数tf.constant功能上就是一致的。Tensorflow提供的7种初始化函数

tf.get_variable函数与tf.Variable函数最大的区别在于指定变量名称的参数。对于tf.Variable函数，变量名称是一个可选的参数，通过name=”v”的形式给出。但是对于tf.get_variable函数，变量名称是一个必填的参数。

tf.variable_scope

如果需要通过tf.get_variable获取一个已经创建的变量，需要通过tf.variable_scope函数来生成一个上下文管理器，并明确指定在这个上下文管理器中，tf.get_variable将直接获取已经生成的变量。下面给出了一段代码说明如何通过tf.variable_scope函数来控制tf.get_variable函数获取已经创建过的变量：

#在名称为foo的命名空间内创建名字为v的变量，注：若foo中已经存在名字为v的变量，下面代码会报错
with tf.variable_scope("foo"):
    v = tf.get_variable("v", [1], initializer=tf.constant_initializer(1.0))

#在生成上下文管理器时，将参数reuse设置为True。这样tf.get_variable函数将直接获取已经声明的变量。
# 注：reuse=True时，tf.get_variable将只能获取已经创建过的变量，若该变量未创建，会报错
with tf.variable_scope("foo", reuse=True):
    v1 = tf.get_variable("v", [1])
    print(v == v1)

当tf.variable_scope函数使用参数reuse=True生成上下文管理器时，这个上下文管理器内所有的tf
.get_variable函数会直接获取已经创建的变量。如果变量不存在，则tf.get_variable函数将报错；相反，如果reuse=None或False，tf.get_variable操作将创建新的变量。如果同名的变量已经存在，则tf.get_variable函数将报错。

tf.variable_scope函数生成的上下文管理器也会创建一个Tensorflow中的命名空间，在这个命名空间内创建的变量名称都会带上这个命名空间名作为前缀，这也提供了一个管理变量命名空间的方式。

实例

以下代码，对inference函数（前向传播）做了一些改进：

def inference(input_tensor, reuse=False):
    with tf.variable_scope("layer1", reuse=reuse):
        weights = tf.get_variable("weights", [INPUT_NODE, LAYER1_NODE],
                                  initializer=tf.truncated_normal_initializer(stddev=0.1))
        biases = tf.get_variable("biases", [LAYER1_NODE],
                                 initializer=tf.constant_initializer(0.0))
        layer1 = tf.nn.relu(tf.matmul(input_tensor, weights) + biases)

    with tf.variable_scope("layer2", reuse=reuse):
        weights = tf.get_variable("weights", [LAYER1_NODE, OUTPUT_NODE], 
                                  initializer=tf.truncated_normal_initializer(stddev=0.1))
        biases = tf.get_variable("biases", [OUTPUT_NODE], 
                                 initializer=tf.constant_initializer(0.0))
        layer2 = tf.matmul(layer1, weights) + biases

    return layer2

使用上面这段代码所示的方式，就不再需要将所有变量都作为参数传递到不同的函数中了。当神经网络结构更加复杂、参数更多时，使用这种变量管理的方式将大大提高程序的可读性。