深度学习之基本知识储备(二)【变量和模型保存加载】

1. 变量的使用和初始化

变量也是一种OP，是一种特殊的张量，能够进行存储持久化，它的值就是张量

• tf.Variable(initial_value=None,name=None)
  创建一个带值initial_value的新变量

• assign(value)
  为变量分配一个新值
  返回新值

• eval(session=None)
  计算并返回此变量的值

• name属性表示变量名字

# 变量op
# 1、变量op能够持久化保存，普通张量op是不行的
# 2、当定义一个变量op的时候，一定要在会话当中去运行初始化
# 3、name参数：在tensorboard使用的时候显示名字，可以让相同op名字的进行区分

a = tf.constant([1,2,3,4,5])
var = tf.Variable(tf.random_normal([2, 3], mean=0.0, stddev=1.0))

print(a, var)
# 必须做一步显示的初始化op
nit_op = tf.global_variables_initializer()
#
with tf.Session() as sess:
   # 必须运行初始化op
   sess.run(init_op)                # 不加会报错，变量未初始化
   print(sess.run([a, var]))

输出的结果为：

1.1 可视化学习Tensorboard

• 数据序列化-events文件
  TensorBoard 通过读取 TensorFlow 的事件文件来运行

• tf.summary.FileWriter(’/tmp/tensorflow/summary/test/’, graph=default_graph)
  返回filewriter,写入事件文件到指定目录(最好用绝对路径)，以提供给tensorboard使用

• 开启
  tensorboard --logdir=/tmp/tensorflow/summary/test/
  一般浏览器打开为127.0.0.1:6006

注： 修改程序后，再保存一遍会有新的事件文件，打开默认为最新。若上述开启方法打不开TensorBoard, 请点击 打开TensorBoard的两种解决方法。

# 变量op
# 1、变量op能够持久化保存，普通张量op是不行的
# 2、当定义一个变量op的时候，一定要在会话当中去运行初始化
# 3、name参数：在tensorboard使用的时候显示名字，可以让相同op名字的进行区分

a = tf.constant([1,2,3,4,5])
var = tf.Variable(tf.random_normal([2, 3], mean=0.0, stddev=1.0))

print(a, var)
# 必须做一步显示的初始化op
nit_op = tf.global_variables_initializer()
#
with tf.Session() as sess:
   # 必须运行初始化op
   sess.run(init_op)                # 不加会报错，变量未初始化
   # 把程序的图结构写入事件文件, graph:把指定的图写进事件文件当中
   filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
   
   print(sess.run([a, var]))

输出后的结果：

1.2 tensorflow变量作用域

tf.variable_scope(<scope_name>) 创建指定名字的变量作用域

• 作用：使代码更加清晰，作用分明。
• 嵌套使用作用域时，观察变量name改变？

    with tf.variable_scope("data"):
        # 1、准备数据，x 特征值 [100, 1]   y 目标值[100]
        x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x_data")
        # 矩阵相乘必须是二维的
        y_true = tf.matmul(x, [[0.7]]) + 0.8
        
    with tf.variable_scope("model"):
        # 2、建立线性回归模型 1个特征，1个权重， 一个偏置 y = x w + b
        # 随机给一个权重和偏置的值，让他去计算损失，然后再当前状态下优化
        # 用变量定义才能优化
        # trainable参数：指定这个变量能跟着梯度下降一起优化
        weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w")
        bias = tf.Variable(0.0, name="b")

        y_predict = tf.matmul(x, weight) + bias

    with tf.variable_scope("loss"):
        # 3、建立损失函数，均方误差
        loss = tf.reduce_mean(tf.square(y_true - y_predict))

    with tf.variable_scope("optimizer"):
        # 4、梯度下降优化损失 leaning_rate: 0 ~ 1, 2, 3,5, 7, 10
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

1.2.1 未使用作用域前：

1.2.2 添加作用域后

1.3 增加变量显示

目的： 观察模型的参数、损失值等变量值的变化。

• 1、收集变量
  • tf.summary.scalar(name=’’,tensor) 收集对于损失函数和准确率等单值变量,name为变量的名字，tensor为值
  • tf.summary.histogram(name=‘’,tensor) 收集高维度的变量参数
  • tf.summary.image(name=‘’,tensor) 收集输入的图片张量能显示图片
• 2、合并变量写入事件文件
  • merged = tf.summary.merge_all()
  • 运行合并：summary = sess.run(merged)，每次迭代都需运行
  • 添加：FileWriter.add_summary(summary,i),i表示第几次的值

1.3.1 增加损失值等变量显示

  # 添加权重参数，损失值等在tensorboard观察的情况   【优化工作的第二项】
  # 1、收集变量2、合并变量3、写入事件文件
  # 1、收集tensor
    tf.summary.scalar("losses", loss)
    tf.summary.histogram("weights", weight)

    # 2、定义合并tensor的op
    merged = tf.summary.merge_all()
 	# 通过会话运行程序
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)

        # 打印随机最先初始化的权重和偏置
        print("随机初始化的参数权重为：%f, 偏置为：%f" % (weight.eval(), bias.eval()))

        # 建立事件文件
        filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
        
        # 循环训练 运行优化
        for i in range(500):
            sess.run(train_op)

            # 3、运行合并的tensor
            summary = sess.run(merged)           
            filewriter.add_summary(summary, i)

            print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i, weight.eval(), bias.eval()))

        saver.save(sess, FLAGS.model_dir)
    return None

losses	weights

2. 模型的保存与加载

• tf.train.Saver(var_list=None,max_to_keep=5)

  • var_list:指定将要保存和还原的变量。它可以作为一个
    dict或一个列表传递.
  • max_to_keep：指示要保留的最近检查点文件的最大数量。
    创建新文件时，会删除较旧的文件。如果无或0，则保留所有
    检查点文件。默认为5（即保留最新的5个检查点文件。）

• 例如：saver.save(sess, ‘/tmp/ckpt/test/model’)

  • saver.restore(sess, ‘/tmp/ckpt/test/model’)

• 保存文件格式：checkpoint文件

import tensorflow as tf
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

# 1、训练参数问题:trainable
# 学习率和步数的设置：

# 2、添加权重参数，损失值等在tensorboard观察的情况【优化工作的第二项】 1、收集变量2、合并变量3、写入事件文件

# 定义命令行参数
# 1、首先定义有哪些参数需要在运行时候指定
# 2、程序当中获取定义命令行参数

# 第一个参数：名字，默认值，说明
tf.app.flags.DEFINE_integer("max_step", 100, "模型训练的步数")
tf.app.flags.DEFINE_string("model_dir", " ", "模型文件的加载的路径") # ./tmp/ckpt/checkpoint

# 定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS


def myregression():
    """
    自实现一个线性回归预测
    :return: None
    """
    with tf.variable_scope("data"):
        # 1、准备数据，x 特征值 [100, 1]   y 目标值[100]
        x = tf.random_normal([100, 1], mean=1.75, stddev=0.5, name="x_data")

        # 矩阵相乘必须是二维的
        y_true = tf.matmul(x, [[0.7]]) + 0.8

    with tf.variable_scope("model"):
        # 2、建立线性回归模型 1个特征，1个权重， 一个偏置 y = x w + b
        # 随机给一个权重和偏置的值，让他去计算损失，然后再当前状态下优化
        # 用变量定义才能优化
        # trainable参数：指定这个变量能跟着梯度下降一起优化
        weight = tf.Variable(tf.random_normal([1, 1], mean=0.0, stddev=1.0), name="w")
        bias = tf.Variable(0.0, name="b")

        y_predict = tf.matmul(x, weight) + bias

    with tf.variable_scope("loss"):
        # 3、建立损失函数，均方误差
        loss = tf.reduce_mean(tf.square(y_true - y_predict))

    with tf.variable_scope("optimizer"):
        # 4、梯度下降优化损失 leaning_rate: 0 ~ 1, 2, 3,5, 7, 10
        train_op = tf.train.GradientDescentOptimizer(0.1).minimize(loss)

    # 1、收集tensor
    tf.summary.scalar("losses", loss)
    tf.summary.histogram("weights", weight)

    # 2、定义合并tensor的op
    merged = tf.summary.merge_all()

    # 定义一个初始化变量的op
    init_op = tf.global_variables_initializer()



    # 通过会话运行程序
    with tf.Session() as sess:
        # 初始化变量
        sess.run(init_op)

        # 打印随机最先初始化的权重和偏置
        print("随机初始化的参数权重为：%f, 偏置为：%f" % (weight.eval(), bias.eval()))

        # 建立事件文件
        filewriter = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)

        # 加载模型，覆盖模型当中随机定义的参数，从上次训练的参数结果开始
        if os.path.exists("./tmp/ckpt/checkpoint"):
            saver.restore(sess, FLAGS.model_dir)

        # 循环训练 运行优化
        for i in range(FLAGS.max_step):

            sess.run(train_op)

            # 3、运行合并的tensor
            summary = sess.run(merged)

            filewriter.add_summary(summary, i)

            print("第%d次优化的参数权重为：%f, 偏置为：%f" % (i, weight.eval(), bias.eval()))

        saver.save(sess, FLAGS.model_dir)
    return None


if __name__ == "__main__":
    myregression()