Tensorflow 模型参数保存方法

最新推荐文章于 2021-12-09 00:01:19 发布
最新推荐文章于 2021-12-09 00:01:19 发布
阅读量4k 收藏 12
点赞数 2
分类专栏： Deep learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lai_cheng/article/details/93176380
版权

Tensorflow 模型参数保存方法

Tensorflow 保存模型参数分为两种，第一种是未剪枝参数，第二种是剪枝后的参数。对于未剪枝的参数，可以直接保存在TXT,剪枝后的参数可以按照稀疏矩阵保存方法进行保存。

 

一、未剪枝参数保存

读取参数之前需要保存模型和对应的参数，保存方法按照如下：

def save_model(self):

  saver = tf.train.Saver()

  save_path = saver.save(self.sess,"save/model.ckpt")

调用这操作后会在save下生成对应的模型，从ckpt文件中就能读取到参数

保存参数只需要读取模型的参数名和参数数据，代码示例为：

import TensorFlow as tf

 

model_dir = "save/"

ckpt = tf.train.get_checkpoint_state(model_dir)

ckpt_path = ckpt.model_checkpoint_path

# importing graph

reader = tf.train.NewCheckpointReader(ckpt_path)

all_variables = reader.get_variable_to_shape_map()

对应行数分别为

1.文件目录

2.读取文件目录的ckpt文件

3.得到ckpt文件名

4.用reader来得到对应的参数字典和参数数据

5.所有参数和对应参数的size

 

得到参数后可以用get_tensor得到tensor数据

parameter_data = reader.get_tensor(key)

 

保存在txt需要一个个数据保存，因为数据长度很大如果直接把parameter_data保存会是大量的省略号具体操作如下

for key in all_variables.keys():

  # print(key,all_variables[key])

  parameter_data = reader.get_tensor(key)

  print('**************** save', key ,' succeed******************* shape:',parameter_data.shape)

  data_shape = parameter_data.shape

  pf.write(str(key))

  pf.write(',data shape:')

  pf.write(str(all_variables[key]))

  pf.write('\n')

  if len(data_shape) == 0:

      pf.write(str(parameter_data))

 

  # save 1-D data format

  if len(data_shape) == 1:

      pf.write('{')

      for i in range(parameter_data.shape[0]):

          pf.write(str(parameter_data[i]))

          if i < parameter_data.shape[0] - 1:

              pf.write(',')

          else:

              pf.write('}')

      pf.write('\n')

 

  # save 2-D data format

  if len(data_shape) == 2:

      pf.write('{')

      for i in range(parameter_data.shape[0]):

          for j in range(parameter_data.shape[1]):

              pf.write(str(parameter_data[i][j]))

              if i < parameter_data.shape[0] - 1:

                  pf.write(',')

              else:

                  pf.write('}')

      pf.write('\n')

 

  # save 4-D data format

  if len(data_shape) == 4:

      pf.write('{')

      for i in range(parameter_data.shape[0]):

          for j in range(parameter_data.shape[1]):

              for k in range(parameter_data.shape[2]):

                  for l in range(parameter_data.shape[3]):

                      pf.write(str(parameter_data[i][j][k][l]))

                      if i < parameter_data.shape[0] - 1:

                          pf.write(',')

                      else:

                          pf.write('}')

      print('\n')

pf.close()

具体的思路就是，为了移植到C作为define 方便，按照define 的定义方式，初始和结尾用{ }，中间一个个保存data 和data 后用间隔分隔，当然也可以修改保存的头

  pf.write(str(key))

  pf.write(',data shape:')

  pf.write(str(all_variables[key]))

  pf.write('\n')

这几行可以修改成直接使用的方式 #define PATAMETER_SRT DDATA这种格式

 

全部代码如下

import tensorflow as tf

import numpy as np

from tensorflow.python import pywrap_tensorflow

from tensorflow.python.tools.inspect_checkpoint import print_tensors_in_checkpoint_file

 

def view_parameter(model_dir):

  ckpt = tf.train.get_checkpoint_state(model_dir)

  # print("ckpt :",ckpt)

  ckpt_path = ckpt.model_checkpoint_path

 

  reader = pywrap_tensorflow.NewCheckpointReader(ckpt_path)

  param_dict = reader.get_variable_to_shape_map()

  # importing graph

  reader = tf.train.NewCheckpointReader(ckpt_path)

  all_variables = reader.get_variable_to_shape_map()

  print(all_variables)

  # can be view data and data sizes

  for key, val in param_dict.items():

      try:

          print(key, val)

          data = reader.get_tensor(key)

          print(data)

  #       print_tensors_in_checkpoint_file(ckpt_path, tensor_name=key, all_tensors=False, all_tensor_names=False)

      except:

          pass

  return all_variables,ckpt_path

 

def save_parameter_txt(model_dir="save/"):

  model_dir = model_dir

  ckpt = tf.train.get_checkpoint_state(model_dir)

  ckpt_path = ckpt.model_checkpoint_path

 

  # importing graph

  reader = tf.train.NewCheckpointReader(ckpt_path)

  all_variables = reader.get_variable_to_shape_map()

  print(all_variables)

 

  pf = open('parameter.txt', 'w')

  # loop save non-None data in txt

  for key in all_variables.keys():

      # print(key,all_variables[key])

      parameter_data = reader.get_tensor(key)

      print('**************** save', key ,' succeed******************* shape:',parameter_data.shape)

      data_shape = parameter_data.shape

      pf.write(str(key))

      pf.write(',data shape:')

      pf.write(str(all_variables[key]))

      pf.write('\n')

      if len(data_shape) == 0:

          pf.write(str(parameter_data))

 

      # save 1-D data format

      if len(data_shape) == 1:

          pf.write('{')

          for i in range(parameter_data.shape[0]):

              pf.write(str(parameter_data[i]))

              if i < parameter_data.shape[0] - 1:

                  pf.write(',')

              else:

                  pf.write('}')

          pf.write('\n')

 

      # save 2-D data format

      if len(data_shape) == 2:

          pf.write('{')

          for i in range(parameter_data.shape[0]):

              for j in range(parameter_data.shape[1]):

                  pf.write(str(parameter_data[i][j]))

                  if i < parameter_data.shape[0] - 1:

                      pf.write(',')

                  else:

                      pf.write('}')

          pf.write('\n')

 

      # save 4-D data format

      if len(data_shape) == 4:

          pf.write('{')

          for i in range(parameter_data.shape[0]):

              for j in range(parameter_data.shape[1]):

                  for k in range(parameter_data.shape[2]):

                      for l in range(parameter_data.shape[3]):

                          pf.write(str(parameter_data[i][j][k][l]))

                          if i < parameter_data.shape[0] - 1:

                              pf.write(',')

                          else:

                              pf.write('}')

          print('\n')

  pf.close()

 

if __name__ == '__main__':

  save_parameter_txt()

 

二、保存剪枝后的稀疏矩阵

剪枝后的稀疏矩阵存储需要单独拿出参数进行相乘再将数据存储为{row}{col}{data}

如果以全连接层为例，均为二维操作

示例如下

def weights_csc_matrix(weights_matrix, mask_matrix):

  weights_matrix = np.multiply(weights_matrix,mask_matrix)

  row_data = []

  col_data = []

  weights_data = []

  print(weights_matrix)

 

  for i in range(weights_matrix.shape[0]):

      for j in range(weights_matrix.shape[1]):

          if weights_matrix[i][j] > 0:

              row_data.append(i)

              col_data.append(j)

              weights_data.append(weights_matrix[i][j])

          else:

              continue

  print(row_data,col_data,weights_data)

  return row_data,col_data,weights_data

得到的输出结果再用TXT存储原理和上面类似。

lai_cheng
关注
  • 2
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
解决tensorflow模型参数保存和加载的问题
09-20
今天小编就为大家分享一篇解决tensorflow模型参数保存和加载的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
TensorFlow模型保存和提取的方法
09-20
以下是对TensorFlow模型保存和提取的详细解释： 首先，TensorFlow提供了`tf.train.Saver`类来实现模型的保存和恢复。在保存模型时，我们创建一个`Saver`对象，并调用其`save`方法，如`saver.save(sess,"Model/model...
Tensorflow实现网络模型剪枝--model_pruning模块
xue_csdn的博客
03-31 3612
部分代码参考：https://blog.csdn.net/lai_cheng/article/details/90643100 剪枝： 剪枝就是利用某一个准则对某一组或某一个权值置0从而达到将网络神经元置0以达到稀疏化网络连接从而加快整个推理过程及缩小模型大小的迭代过程，这个准则有暴力穷尽组合排忧、使用对角 Hessian 逼近计算每个权值的重要性、基于一阶泰勒展开的模型代价函数来对权值排序、...
Tensorflow模型的保存和加载
归去来兮的博客
04-18 1万+
刚接触深度学习，Tensorflow模型的保存和加载尚不清楚，根据教程的翻译做一记录，不当之处敬请指正。原文地址：http://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/在本教程中，将作出如下讲解： I. Tensorflow模型是什么样的？ II...
tensorflow之模型集参数的保存
hh_2018的博客
04-25 2251
最近在研究移动端的时候涉及到了模型的冰冻，即将训练得到的模型生成对应的pb文件。因此研究了一下tensorflow中的几种保存模型的方式，具体如下： 一、save保存。    save保存一定要在session中进行，并且save保存时会保存所有的参数信息，而这些信息是我们不一定需要的。并且save保存一般保存的是所有的网络和参数。     save的存储   tf.global_va...
在tensorflow中保存模型参数
matrixdodo
03-08 9157
想要保存训练之后得到的神经网络参数，一般有两种办法。 第一种，可以将tensor对象转换为numpy数组进行保存。 即， numpy.savetxt('weight.txt', weight.eval()) 第二种，是利用tensorflow自带的Saver对象。 import tensorflow as tf #########################
tensorflow查看保存模型的参数
海绵宝宝强无敌的博客
12-09 1403
tensorflow查看保存模型的参数 参考博客： tensorflow 模型存储、查看与载入 tensorflow小技巧之查看保存模型参数的 name 和 value model_path = 'your/path/to/model/model-num' # Read data from checkpoint file reader = pywrap_tensorflow.NewCheckpointReader(model_path) var_to_shape_map = reader.get_varia
tensorflow保存模型的两种方法
weareu的博客
01-09 3768
由于神经网络训练比较复杂所以可能需要先保存训练好的模型，然后再需要的时候进行调用，下面介绍两种保存模型的方法： 方法一：使用tf.train.Saver() 保存代码，该方法保存的模型比较全，只要定义的变量均可获取，导入的模型与当前生成几乎具有一样的能力： #定义占位符，具有名称的变量可以被在导入模型后获取 x = tf.placeholder(tf.float32, [None, 784], n...
Tensorflow模型的保存与读取
u012347027的博客
02-25 1063
前言 首先，我们从一个直观的例子，讲解如何实现Tensorflow模型参数的保存以及保存后模型的读取。 然后，我们在之前多层感知机的基础上进行模型的参数保存，以及参数的读取。该项技术可以用于Tensorflow分段训练模型以及对经典模型进行fine tuning（微调） Tensorflow 模型的保存与读取（直观） 模型参数存储 import tensorflow as tf # 随机生成v1...
TensorFlow——模型保存
Digger的博客
11-20 1091
模型保存 五种模型保存方法 模型整体的保存 模型框架的保存 模型权重的保存 使用回调函数对模型进行保存 对自定义训练模型的保存 一、模型整体的保存 整个模型可以保存到一个文件中，其中包含权重值、模型配置乃至优化器配置。这样，可以为模型设置检查点，并稍后从完全相同的状态继续训练，而无需访问原始代码。 在Keras中保存完全可以正常使用的模型非常有用，您可以在TensorFlow.js中加载它们，然后在网络浏览器中训练和运行它们。 Keras使用HDF5标准提供基本的保存格式。 保存模型 # 保存模型，参数
Tensorflow 模型的保存和载入
tugouxp的专栏
09-20 911
Minst训练模型源码: import tensorflow as tf #导入tensorflow库 from tensorflow.examples.tutorials.mnist import input_data from tensorflow.python.framework import graph_util import pylab mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) tf.reset_de
tensorflow 获取模型所有参数总和数量的方法
09-20
在深度学习领域，模型参数...总的来说，掌握如何在 TensorFlow 中获取模型参数的总数是深入理解模型特性和优化过程的关键步骤之一。通过本文的介绍，你应该已经了解了如何实现这一目标，并能够将其应用于自己的项目中。
PyTorch模型训练完毕后静态量化、保存、加载int8量化模型
热门推荐
LaiCheng的博客
07-21 2万+
1. Pytorch模型量化方法 Pytorch模型量化方法介绍有很多可以参考的，这里推荐两篇文章写的很详细可以给大家一个大致的参考Pytorch的量化，官方量化文档 Pytorch的量化大致分为三种：模型训练完毕后动态量化、模型训练完毕后静态量化、模型训练中开启量化，本文从一个工程项目（Pose Estimation）给大家介绍模型训练后静态量化的过程。 具体量化知识可以从推荐的两篇文章中学习。 2. 量化过程准备工作。 1.数据集下载（在做静态量化时需要对数据集进行推理获取数据的分布特点、定标
HDF5数据格式读写
LaiCheng的博客
11-30 1万+
在深度学习中，通常会使用巨量的数据或图片来训练网络。对于如此大的数据集，如果对于每张图片都单独从硬盘读取、预处理、之后再送入网络进行训练、验证或是测试，这样效率可是太低了。如果将这些图片都放入一个文件中再进行处理，这样效率会更高。有多种数据模型和库可完成这种操作，如HDF5和TFRecord。 1 hdf5格式使用方法 1.1 hdf5文件介绍 一个HDF5文件是一种存放两类对象的容器：da...
TensorFlow 模型剪枝
LaiCheng的博客
05-28 8456
TensorFlow 模型剪枝 一、运行环境 TensorFlow-gpu > 8.0 python 3.6 numpy 1.16 CUDA 9.0 , cudnn 7.0 二、模型剪枝方法 模型训练时剪枝，只需选定需要剪枝的层，对于选中做剪枝的层增加一个二进制掩模（mask）变量，形状和该层的权值张量形状完...
在ARM64平台下安装TensorFlow
LaiCheng的博客
08-04 6430
在ARM64平台下安装TensorFlow 1.安装前环境配置 2.安装TensorFlow
Tensorflow 构建CNN详细介绍
LaiCheng的博客
12-17 6105
Tensorflow 构建CNN 一.构建CNN准备 1.创建权重函数 def weight_variable(shape,name="w"):   initial = tf.contrib.layers.xavier_initializer()   return tf.get_variable(name,initializer = initial,shape=sha...
TensorFlow初始化LSTM参数weight 和 bias
LaiCheng的博客
11-25 4691
TensorFlow 初始化 LSTM 参数 weight 和 bias 前言： 前一篇博客介绍了如何可视化神经网络的每一层，很简单的做法就是将训练好数据作为神经网络的初始化参数进行前向传播。在LSTM中我们可以从官方文档看到能初始化的参数只有weight。在可视化时我们往往需要传入weight和bias，或者载入模型参数继续训练也需要载入w和b。 初...
tensorflow模型保存
最新发布
10-10
在 TensorFlow 中，你可以使用 tf.train.Saver 类来保存和加载模型。下面是一个保存模型的示例代码： ```python import tensorflow as tf # 创建模型 # ... # 定义一个 Saver 对象 saver = tf.train.Saver() # 训练模型 # ... # 保存模型 save_path = saver.save(sess, "path/to/save/model.ckpt") print("模型已保存到：", save_path) ``` 上述代码中，`sess` 是你创建的 TensorFlow 会话对象，`"path/to/save/model.ckpt"` 是保存模型的路径。`saver.save()` 方法将保存当前会话中的模型参数。 加载模型时，可以使用 `saver.restore()` 方法，如下所示： ```python import tensorflow as tf # 创建模型 # ... # 定义一个 Saver 对象 saver = tf.train.Saver() # 加载模型 saver.restore(sess, "path/to/save/model.ckpt") print("模型已恢复") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值