TensorFlow

 Tensorflow 模型持久化 

如果神经网络比较复杂，训练数据比较多，那么训练就会耗时很长，若在训练过程中出现某些不可预计的错误，导致训练意外终止，那么将会前功尽弃。为避免这个问题，可以通过模型持久化（保存为CKPT格式）来暂存训练过程中的临时数据。

一、生成4个文件，一个checkpoint和三个CKPT格式的文件：

 

1.checkpoint  记录保存信息和所有模型文件列表，通过它可以定位最新保存的模型，
2.model.ckpt.data-00000-of-00001  保存了当前参数值
3.model.ckpt.index  保存了当前参数名

 

4.model.ckpt.meta  保存了当前图结构

过程为：
1.定义运算过程；
2.声明并得到一个 Saver；
3.通过 Saver.save 保存模型。

二、生成.pb文件 ，一种二进照片标签图像文件格式点阵文件

如果我们训练的模型需要提供给用户做离线的预测，那只需要前向传播的过程，只需得到预测值就可以了，这个时候我们就可以通过模型持久化（保存为PB格式）只保存前向传播中需要的变量并将变量的值固定下来，这个时候只需用户提供一个输入，我们就可以通过模型得到一个输出给用户。

过程为：

 

 

 

1.定义运算过程；
2.通过 get_default_graph().as_graph_def() 得到当前图的计算节点信息；
3.通过 graph_util.convert_variables_to_constants 将相关节点的values固定；
4.通过 tf.gfile.GFile 进行模型持久化。

 

 

 

三、CKPT 可以转换成 PB格式

TensorFlow 是一个编程系统, 使用图来表示计算任务. 图中的节点被称之为op (operation 的缩写)。一个op获得0个或多个Tensor , 执行计算, 产生0个或多个Tensor。 每个 Tensor 是一个类型化的多维数组. 例如, 你可以将一小组图像集表示为一个四维浮点数数组, 这四个维度分别是[batch, height, width, channels]。一个 TensorFlow 图描述了计算的过程，为了进行计算, 图必须在会话里被启动，会话将图的op分发到诸如 CPU或GPU之类的设备上, 同时提供执行op的方法。这些方法执行后, 将产生的 tensor 返回。在 Python 语言中, 返回的 tensor 是numpy ndarray 对象; 在 C 和 C++ 语言中, 返回的 tensor 是tensorflow::Tensor 实例。

 

计算图
TensorFlow 程序通常被组织成一个构建阶段和一个执行阶段. 在构建阶段, op 的执行步骤 被描述成一个图. 在执行阶段, 使用会话执行执行图中的 op.例如, 通常在构建阶段创建一个图来表示和训练神经网络, 然后在执行阶段反复执行图中的训练 op.

构建图
构建图的第一步, 是创建源 op (source op). 源 op 不需要任何输入, 例如常量 (Constant) . 源 op 的输出被传递给其它 op 做运算.
Python 库中, op 构造器的返回值代表被构造出的 op 的输出, 这些返回值可以传递给其它 op 构造器作为输入.TensorFlow Python 库有一个默认图 (default graph), op 构造器可以为其增加节点. 这个默认图对 许多程序来说已经足够用了.

在一个会话中启动图
构造阶段完成后, 才能启动图. 启动图的第一步是创建一个Session 对象, 如果无任何创建参数, 会话构造器将启动默认图。Session 对象在使用完后需要关闭以释放资源. 除了显式调用 close 外, 也可以使用 "with" 代码块 来自动完成关闭动作.