关于Tensorflow模型的保存、加载和预导入

参考ANKIT SACHAN：A quick complete tutorial to save and restore Tensorflow models

1. 什么是Tensorflow模型

Tensorflow模型主要包含我们训练过的网络设计或图形以及网络参数的值。因此，Tensorflow模型有两个主要文件：

1.1 元图：

这是一个协议缓冲区，可以保存完整的Tensorflow图; 即所有变量，操作，集合等。此文件具有.meta扩展名。

1.2 检查点文件：

这是一个二进制文件，其中包含权重，偏差，渐变和所有其他保存变量的所有值。此文件有扩展名。CKPT。但是，Tensorflow已将其从版本0.11更改为此。现在，我们有两个文件，而不是单个.ckpt文件

• .data文件：是包含我们的训练变量的文件，我们将继续使用它。
• checkpoint文件：它只保存最新检查点文件的记录。
  
  总而言之，对于大于0.10的版本，Tensorflow模型如下所示：
  

2. 保存Tensorflow模型

比如你正在训练一个用于图像分类的卷积神经网络。作为标准做法，您要密切关注损失和准确性数字，一旦看到网络已经融合，你就可以手动停止训练，或者针对固定数量的epoch进行训练，训练完成后，我们希望将所有变量和网络图保存到文件中以备将来使用。

• 在Tensorflow中，我们希望保存将创建tf.train.Saver()类实例的所有参数的图形和值

saver = tf.train.Saver()

• 注意：tensorflow变量仅在会话中存在，因此，必须通过在刚创建的saver对象上调用save方法将模型保存在会话中

saver.save(sess, 'my_test_model')   #sess：会话；my_test_model：我们为模型提供的名称

• 完整例程：

import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape = [2]), name = 'w1')
w2 = tf.Variable(tf.random_normal(shape = [5]), name = 'w2')
saver = tf.train.Saver()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, 'my_test_model')

########################################################
# This will save following files in Tensorflow v >= 0.11
my_test_model.data-00000-of-00001
my_test_model.index
my_test_model.meta
checkpoint
#######################################################

• 如果我们在1000次迭代后保存模型，我们将通过传递步数来调用save：

saver.save(sess, 'my_test_model', global_step = 1000)

#######################################################
#这只会将“-1000”附加到模型名称，并将创建以下文件：
l-1000.index
my_test_model-1000.meta
my_test_model-1000.data-00000-of-00001
checkpoint
#######################################################

• 在训练时，我们在每1000次迭代后保存模型，所以.meta文件是第一次创建（第1000次迭代），我们不需要每次都重新创建.meta文件（所以，我们不要t保存.meta文件在2000,3000 …或任何其他迭代）。我们只保存模型以进行进一步的迭代，因为图形不会改变。因此，当我们不想编写元图时，我们使用这个：

saver.save(sess, 'my_test_model', global_step = step, write_meta_graph = False)

• 如果您只想保留4个最新型号并希望在培训期间每2小时保存一个型号，则可以使用max_to_keep和keep_checkpoint_every_n_hours。

saver = tf.train.Saver(max_to_keep = 4, keep_checkpoint_every_n_hours = 2)

• 注意，如果我们在tf.train.Saver（）中没有指定任何内容，它会保存所有变量。如果，我们不想保存所有变量而只是保存其中一些变量。我们可以指定要保存的变量/集合。在创建tf.train.Saver实例时，我们传递一个列表或我们要保存的变量字典。我们来看一个例子：

import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape = [2], name = 'w1'))
w2 = tf.Variable(tf.random_normal(shape = [5], name = 'w2'))
saver = tf.train.Saver([w1, w2])
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, 'my_test_model', global_step = 1000)

3. 导入预先训练的模型

如果您想使用其他人的预训练模型进行微调，您需要做两件事：

• 创建网络：
  您可以通过编写python代码来创建网络，以手动创建每个图层作为原始模型。但是，如果您考虑一下，我们已经将网络保存在.meta文件中，我们可以使用tf.train.import（）函数重新创建网络，如下所示：

saver = tf.train.import_meta_graph('my_test_model-1000.meta')

###########################################################################
请记住，import_meta_graph将.meta文件中定义的网络附加到当前图形。
因此，这将为您创建图形/网络，但我们仍需要加载我们在此图表上训练过的参数值。
###########################################################################

• 加载参数：
  我们可以通过调用此保护程序上的还原来恢复网络参数，该保护程序是tf.train.Saver（）类的一个实例

with tf.Session() as sess:
	new_saver = tf.train.import_meta_graph('my_test_model-1000.meta')
	new_saver_restore(sess, tf.train.latest_checkpoint('./'))
	
#在此之后，像w1和w2这样的张量值已经恢复并可以访问：
with tf.Session() as sess:
	saver = tf.train.import_meta_graph('my-model-1000.meta')
	saver.restore(sess, tf.train.latest_checkpoint('./'))	
	print(sess.run('w1:0'))
##Model has been restored. Above statement will print the saved value of w1.

4. 使用已恢复的模型

现在您已经了解了如何保存和恢复Tensorflow模型，让我们开发一个实用指南来恢复任何预先训练的模型，并将其用于预测，微调或进一步培训。每当您使用Tensorflow时，您都会定义一个图表，其中包含示例（训练数据）和一些超参数，如学习率，全局步骤等。这是使用占位符提供所有训练数据和超参数的标准做法。让我们使用占位符构建一个小型网络并保存它。请注意，保存网络时，不会保存占位符的值。

import tensorflow as tf
 
#Prepare to feed input, i.e. feed_dict and placeholders
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias")
feed_dict ={w1:4,w2:8}
 
#Define a test operation that we will restore
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())
 
#Create a saver object which will save all the variables
saver = tf.train.Saver()
 
#Run the operation by feeding input
print sess.run(w4,feed_dict)
#Prints 24 which is sum of (w1+w2)*b1 
 
#Now, save the graph
saver.save(sess, 'my_test_model',global_step=1000)

• 现在，当我们想要恢复它时，我们不仅要恢复图形和权重，还要准备一个新的feed_dict，将新的训练数据提供给网络。我们可以通过graph.get_tensor_by_name（）方法引用这些保存的操作和占位符变量

#How to access saved variable/Tensor/placeholders 
w1 = graph.get_tensor_by_name("w1:0")
 
## How to access saved operation
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

• 如果我们只想使用不同的数据运行相同的网络，您只需通过feed_dict将新数据传递到网络即可

import tensorflow as tf
 
sess=tf.Session()    
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('my_test_model-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
 
 
# Now, let's access and create placeholders variables and
# create feed-dict to feed new data
 
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}
 
#Now, access the op that you want to run. 
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
 
print sess.run(op_to_restore,feed_dict)
#This will print 60 which is calculated 
#using new values of w1 and w2 and saved value of b1. 

• 如果您想通过添加更多图层然后训练它来向图表添加更多操作, 看这里：

import tensorflow as tf

sess=tf.Session()    
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('my_test_model-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))


# Now, let's access and create placeholders variables and
# create feed-dict to feed new data

graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}

#Now, access the op that you want to run. 
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

#Add more to the current graph
add_on_op = tf.multiply(op_to_restore,2)

print sess.run(add_on_op,feed_dict)
#This will print 120.

• 但是，您是否可以恢复旧图形的一部分并对其进行附加以进行微调？当然，您可以通过graph.get_tensor_by_name（）方法访问相应的操作，并在其上构建图形。这是一个真实世界的例子。在这里，我们使用元图加载一个vgg预训练网络，并在最后一层将输出数量更改为2，以便使用新数据进行微调。

......
......
saver = tf.train.import_meta_graph('vgg.meta')
# Access the graph
graph = tf.get_default_graph()
## Prepare the feed_dict for feeding data for fine-tuning 

#Access the appropriate output for fine-tuning
fc7= graph.get_tensor_by_name('fc7:0')

#use this if you only want to change gradients of the last layer
fc7 = tf.stop_gradient(fc7) # It's an identity function
fc7_shape= fc7.get_shape().as_list()

new_outputs=2
weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
output = tf.matmul(fc7, weights) + biases
pred = tf.nn.softmax(output)

# Now, you run this with fine-tuning data in sess.run()