TensorFlow学习笔记(一): tf.Variable() 和tf.get_variable()详解

对于tf.Variable和tf.get_variable，这两个都是在我们训练模型的时候常遇到的函数，我们首先要知道懂得它的语法格式、常用的语法格式的作用以及在实际代码中是如何调用、如何运行的，运行之后具有什么样的作用。

tf.Variable()

作用:用于生成一个初始值为initial-value的变量。必须指定初始化值。

语法格式如下:

tf.Variable(initial_value=None, trainable=True, collections=None, validate_shape=True, 
caching_device=None, name=None, variable_def=None, dtype=None, expected_shape=None, 
import_scope=None)

经常使用的是initial_value、name、shape、dtype、trainable，分别是初始化，命名，所需要的形状大小，变量类型。

参数解释:

• initial_value：Tensor或可转换为Tensor的Python对象，它是Variable的初始值。除非validate_shape设置为False，否则初始值必须具有指定的形状。也可以是一个可调用的，没有参数，在调用时返回初始值。在这种情况下，必须指定dtype。
  （请注意，init_ops.py中的初始化函数必须首先绑定到形状才能在此处使用。）
• validate_shape：如果为False，则允许使用未知形状的值初始化变量。如果为True，则 默认为initial_value的形状必须已知。
• shape:新变量或现有变量的形状。
• name：变量的可选名称。默认为“Variable”并自动获取。
• dtype：如果设置，则initial_value将转换为给定类型。如果为None，则保留数据类型（如果initial_value是Tensor），或者convert_to_tensor将决定。
• trainable: 若trainable=False ：防止该变量被数据流图的GraphKeys.TRAINABLE_VARIABLES (优化器优化的默认变量列表)收集,
  这样我们就不会在训练的时候尝试更新它的值。如果把trainable设置为True的话，就会把该变量放置到该列表中；如果trainable设置为True的话，就不会放置到该列表中，在训练的时候就不会更新此值。所以显而易见它的作用就是模型训练的时候是否会更新这个参数。
• collections：一个图graph集合列表的关键字。新变量将添加到这个集合中。默认为[GraphKeys.GLOBAL_VARIABLES]。也可自己指定其他的集合列表；
• validate_shape：如果为False，则允许使用未知形状的值初始化变量。如果为True，则默认为initial_value的形状必须已知。
• caching_device：可选设备字符串，描述应该缓存变量以供读取的位置。默认为Variable的设备。如果不是None，则在另一台设备上缓存。典型用法是在使用变量驻留的Ops的设备上进行缓存，以通过Switch和其他条件语句进行重复数据删除。
• variable_def：VariableDef协议缓冲区。如果不是None，则使用其内容重新创建Variable对象，引用图中必须已存在的变量节点。图表未更改。 variable_def和其他参数是互斥的。
• expected_shape：TensorShape。如果设置，则initial_value应具有此形状。
• import_scope：可选字符串。要添加到变量的名称范围。仅在从协议缓冲区初始化时使用。

实际代码:

import tensorflow as tf

v1=tf.Variable(tf.random_normal(shape=[4,3],mean=0,stddev=1),name='v1')
v2=tf.Variable(tf.constant(2),name='v2')
v3=tf.Variable(tf.ones([4,3]),name='v3')
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(v1))
    print(sess.run(v2))
    print(sess.run(v3))

程序结果:

[[-1.2115501   1.0484737   0.55210656]
 [-1.5301195   0.9060654  -2.6766613 ]
 [ 0.27101386 -0.32336152  0.44544214]
 [-0.0120788  -0.3409422  -0.48505628]]
2
[[1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]
 [1. 1. 1.]]

tf.get_variable()

作用：用于获取已存在的变量(要求不仅名字，而且初始化方法等各个参数都一样)，如果不存在，就新建一个。可以用各种初始化方法，不用明确指定值。

语法格式如下：

tf.get_variable(name, shape=None, dtype=None, initializer=None, regularizer=None, 
trainable=True, collections=None, caching_device=None, partitioner=None, validate_shape=True, 
custom_getter=None)

参数解释:

• name：新变量或现有变量的名称，这个参数是必须的，函数会根据变量名称去创建或者获取变量。
• shape：新变量或现有变量的形状。
• dtype：新变量或现有变量的类型（默认为DT_FLOAT）。
• ininializer：如果创建了则用它来初始化变量。初始化的方式在下面会有一个归纳
• regularizer：A（Tensor - >
  Tensor或None）函数;将它应用于新创建的变量的结果将添加到集合tf.GraphKeys.REGULARIZATION_LOSSES中，并可用于正则化。
• trainable：如果为True，还将变量添加到图形集合GraphKeys.TRAINABLE_VARIABLES（参见tf.Variable）。
• collections：要将变量添加到的图表集合列表。默认为[GraphKeys.GLOBAL_VARIABLES]（参见tf.Variable）。
• caching_device：可选的设备字符串或函数，描述变量应被缓存以供读取的位置。默认为Variable的设备。如果不是None，则在另一台设备上缓存。典型用法是在使用变量驻留的Ops的设备上进行缓存，以通过Switch和其他条件语句进行重复数据删除。
• partitioner：可选callable，接受完全定义的TensorShape和要创建的Variable的dtype，并返回每个轴的分区列表（当前只能对一个轴进行分区）。
• validate_shape：如果为False，则允许使用未知形状的值初始化变量。如果为True，则默认为initial_value的形状必须已知。
• use_resource：如果为False，则创建常规变量。如果为true，则使用定义良好的语义创建实验性ResourceVariable。默认为False（稍后将更改为True）。在Eager模式下，此参数始终强制为True。
• custom_getter：Callable，它将第一个参数作为true getter，并允许覆盖内部get_variable方法。

实际代码:

import tensorflow as tf;  
import numpy as np;  
import matplotlib.pyplot as plt;  
  
a1 = tf.get_variable(name='a1', shape=[2,3], initializer=tf.random_normal_initializer(mean=0, stddev=1))
a2 = tf.get_variable(name='a2', shape=[1], initializer=tf.constant_initializer(1))
a3 = tf.get_variable(name='a3', shape=[2,3], initializer=tf.ones_initializer())
 
with tf.Session() as sess:
	sess.run(tf.initialize_all_variables())
	print sess.run(a1)
	print sess.run(a2)
	print sess.run(a3)
#输出
[[ 0.42299312 -0.25459203 -0.88605702]
 [ 0.22410156  1.34326422 -0.39722782]]
[ 1.]
[[ 1.  1.  1.]
 [ 1.  1.  1.]]

两者的区别

1、使用tf.Variable时，能真正的定义变量，如果检测到命名冲突，系统会自己处理。使用tf.get_variable()时，是获取变量，系统不会处理冲突，而会报错
比如说:

import tensorflow as tf
w_1 = tf.Variable(3,name="w_1")
w_2 = tf.Variable(1,name="w_1")
print w_1.name
print w_2.name
#输出
#w_1:0
#w_1_1:0

import tensorflow as tf
 
w_1 = tf.get_variable(name="w_1",initializer=1)
w_2 = tf.get_variable(name="w_1",initializer=2)
#错误信息
#ValueError: Variable w_1 already exists, disallowed. Did
#you mean to set reuse=True in VarScope?

2、基于这两个函数的特性，当我们需要共享变量的时候，需要使用tf.get_variable()。在其他情况下，这两个的用法是一样的。为了方便变量管理，tensorflow 还有一个变量管理器，叫做tf.variable_scope，也就是说定义了variable_scope，这样才可以有相同的名字

import tensorflow as tf

with tf.variable_scope("scope1"): # scopename is scope1
    w1 = tf.get_variable("w1", shape=[])
    w2 = tf.Variable(0.0, name="w2")
with tf.variable_scope("scope1", reuse=True):
    w1_p = tf.get_variable("w1", shape=[])
    w2_p = tf.Variable(1.0, name="w2")

print(w1 is w1_p, w2 is w2_p)
#输出
#True  False

由于tf.Variable() 每次都在创建新对象，所有reuse=True 和它并没有什么关系。对于get_variable()，来说，如果已经创建的变量对象，就把那个对象返回，如果没有创建变量对象的话，就创建一个新的。

initializer是变量初始化的方式归纳，初始化的方式有以下几种：

1. tf.constant_initializer：常量初始化函数
   tf.random_normal_initializer：正态分布
   tf.truncated_normal_initializer：截取的正态分布
   tf.random_uniform_initializer：均匀分布
   tf.zeros_initializer：全部是0
   tf.ones_initializer：全是1
   tf.uniform_unit_scaling_initializer：满足均匀分布，但不影响输出数量级的随机值

例如:

import tensorflow as tf;  
import numpy as np;  
import matplotlib.pyplot as plt;  
  
a1 = tf.get_variable(name='a1', shape=[2,3], initializer=tf.random_normal_initializer(mean=0, stddev=1))
a2 = tf.get_variable(name='a2', shape=[1], initializer=tf.constant_initializer(1))
a3 = tf.get_variable(name='a3', shape=[2,3], initializer=tf.ones_initializer())
 
with tf.Session() as sess:
	sess.run(tf.initialize_all_variables())
	print sess.run(a1)
	print sess.run(a2)
	print sess.run(a3)
#输出
[[ 0.42299312 -0.25459203 -0.88605702]
 [ 0.22410156  1.34326422 -0.39722782]]
[ 1.]
[[ 1.  1.  1.]
 [ 1.  1.  1.]]

注意：不同的变量之间不能有相同的名字，除非你定义了variable_scope，这样才可以有相同的名字

注意：

• 如果initializer初始化方法是None(默认值),则会使用variable_scope()中定义的initializer,如果也为None,则默认使用glorot_uniform_initializer,也可以使用其他的tensor来初始化，value,和shape与此tensor相同
• 正则化方法默认是None,如果不指定，只会使用variable_scope()中的正则化方式，如果也为None，则不使用正则化；