02. tensorflow基础（二）

最新推荐文章于 2023-03-20 20:25:15 发布
最新推荐文章于 2023-03-20 20:25:15 发布
阅读量163 收藏
点赞数 1
分类专栏： tensorflow1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fanjianhai/article/details/103007289
版权

1. 变量

  • 变量也是一种OP，是一种特殊的张量，能够进行存储持久化，它的值就是张量

1.1. 变量的创建

  • tensorflow1.15
import tensorflow as tf


a = tf.constant([1,2,3,4,5])
var = tf.Variable(tf.random_normal([2,3], mean=0.0, stddev=1.0))
# 做一步显示的初始化
init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    # 必须运行初始化op
    sess.run(init_op)
    print(sess.run([a, var]))
  • tensorflow2.0貌似发生了变化

1.2. 可视化学习Tensorboard

  • 数据序列化-events文件

    • TensorBoard 通过读取 TensorFlow 的事件文件来运行

  • tf.summary.FileWriter(’/tmp/tensorflow/summary/test/’,graph=default_graph)

    • 返回filewriter,写入事件文件到指定目录(最好用绝对路径)，以提供给tensorboard使用

  • 开启

    • tensorboard --logdir=/tmp/tensorflow/summary/test/

  • 注：修改程序后，再保存一遍会有新的事件文件，打开默认为最新

  • 代码实现

    • tensorflow1.15
    import tensorflow as tf


a = tf.constant(3.0, name="a")
b = tf.constant(4.0, name="b")
c = tf.add(a, b, name="add")

var = tf.Variable(tf.random_normal([2,3], mean=0.0, stddev=1.0), name="var")
# 做一步显示的初始化
init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    # 必须运行初始化op
    sess.run(init_op)
    
    # 程序的图结构写入事件文件, graph: 把指定的图写进事件文件
    file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    print(sess.run([c, var]))
    • tensorboard截图
      在这里插入图片描述

2. tensorflow实现一个简单的线性回归案例

import tensorflow as tf


# 自实现一个线性回归预测
# 1. 准备数据， x特征值[100, 1] y 目标值【100】
x = tf.random_normal(shape=[100, 1], mean=1.75, stddev=0.5, name="x_data")
# 假设的真实值 矩阵相乘必须是二维的
y_true = tf.matmul(x, [[0.7]]) + 0.8


# 2.建立线性回归模型， 一个特征，一个权重， 一个偏置y = x w + b
# 随机给一个权重和偏置的值，让他计算损失，然后在当前状态下优化
weight = tf.Variable(tf.random_normal([1,1], mean=0.0, stddev=1.0), name="w")
bias = tf.Variable(0.0, name="b")

y_predict = tf.matmul(x, weight) + bias


# 3. 建立损失函数，均方误差
loss = tf.reduce_mean(tf.square(y_true-y_predict))


# 4. 梯度下降优化损失 learning_rate: 0~1 学习率不能够太大
train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)


# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()


with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    # 打印随机初始化的权重和偏置
    print('随机初始化的参数权重为：%f,偏置为：%f' % (weight.eval(), bias.eval()))
    
    # 循环训练，运行优化
    for i in range(500):
        sess.run(train_op)
        print('第%d步参数权重为：%f,偏置为：%f' % (i, weight.eval(), bias.eval()))

3. 关于梯度爆炸、梯度消失

  • 在极端的情况下， 权重的值变得非常大， 以至于溢出，导致NAN值

  • 如何解决梯度爆炸？（深度神经网络如RNN当中更容易出现）

    • 重新设计神经网络
    • 调整学习率
    • 使用梯度截断（在训练过程中检查和限制梯度的大小）
    • 使用激活函数

4. tensorflow变量作用域

  • 让模型代码更加清晰，作用分明
  • 代码实现
import tensorflow as tf

with tf.variable_scope('data'):
    # 自实现一个线性回归预测
    # 1. 准备数据， x特征值[100, 1] y 目标值【100】
    x = tf.random_normal(shape=[100, 1], mean=1.75, stddev=0.5, name="x_data")
    # 假设的真实值 矩阵相乘必须是二维的
    y_true = tf.matmul(x, [[0.7]]) + 0.8

with tf.variable_scope('model'):
    # 2.建立线性回归模型， 一个特征，一个权重， 一个偏置y = x w + b
    # 随机给一个权重和偏置的值，让他计算损失，然后在当前状态下优化
    weight = tf.Variable(tf.random_normal([1,1], mean=0.0, stddev=1.0), name="w")
    bias = tf.Variable(0.0, name="b")

    y_predict = tf.matmul(x, weight) + bias

with tf.variable_scope('loss'):
    # 3. 建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_true-y_predict))

with tf.variable_scope('optimizer'):
    # 4. 梯度下降优化损失 learning_rate: 0~1
    train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)


# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    # 将程序的图结构写入事件文件, graph: 把指定的图写进事件文件
    file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    
    # 打印随机初始化的权重和偏置
    print('随机初始化的参数权重为：%f,偏置为：%f' % (weight.eval(), bias.eval()))
    
    # 循环训练，运行优化
    for i in range(500):
        sess.run(train_op)
        print('第%d步参数权重为：%f,偏置为：%f' % (i, weight.eval(), bias.eval()))
  • tensorboard截图
    在这里插入图片描述

5. 增加损失值等变量显示

  • 目的：观察模型的参数、损失值等变量的变化

  • 收集变量

    • tf.summary.scalar(name=’’,tensor) 收集对于损失函数和准确率
    • 等单值变量,name为变量的名字，tensor为值
    • tf.summary.histogram(name=‘’,tensor) 收集高维度的变量参数
    • tf.summary.image(name=‘’,tensor) 收集输入的图片张量能显示图片

  • 合并变量写入事件文件

    • merged = tf.summary.merge_all()
    • 运行合并：summary = sess.run(merged)，每次迭代都需运行
    • 添加：FileWriter.add_summary(summary,i),i表示第几次的值

  • 代码实现

import tensorflow as tf

with tf.variable_scope('data'):
    # 自实现一个线性回归预测
    # 1. 准备数据， x特征值[100, 1] y 目标值【100】
    x = tf.random_normal(shape=[100, 1], mean=1.75, stddev=0.5, name="x_data")
    # 假设的真实值 矩阵相乘必须是二维的
    y_true = tf.matmul(x, [[0.7]]) + 0.8

with tf.variable_scope('model'):
    # 2.建立线性回归模型， 一个特征，一个权重， 一个偏置y = x w + b
    # 随机给一个权重和偏置的值，让他计算损失，然后在当前状态下优化
    weight = tf.Variable(tf.random_normal([1,1], mean=0.0, stddev=1.0), name="w")
    bias = tf.Variable(0.0, name="b")

    y_predict = tf.matmul(x, weight) + bias

with tf.variable_scope('loss'):
    # 3. 建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_true-y_predict))

with tf.variable_scope('optimizer'):
    # 4. 梯度下降优化损失 learning_rate: 0~1
    train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)

# 收集tensor
tf.summary.scalar("losses", loss)
tf.summary.histogram("weights", weight)

# 定义合并tensor的op
merged = tf.summary.merge_all()

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 将程序的图结构写入事件文件, graph: 把指定的图写进事件文件
    file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    
    # 打印随机初始化的权重和偏置
    print('随机初始化的参数权重为：%f,偏置为：%f' % (weight.eval(), bias.eval()))
    
    # 循环训练，运行优化
    for i in range(500):
        sess.run(train_op)
        
        # 运行合并的tensor
        summary = sess.run(merged)
        file_writer.add_summary(summary,i)
        
        print('第%d步参数权重为：%f,偏置为：%f' % (i, weight.eval(), bias.eval()))
  • tensorboard截图
    在这里插入图片描述
    在这里插入图片描述

6. 模型的保存与加载

  • f.train.Saver(var_list=None,max_to_keep=5)

    • var_list:指定将要保存和还原的变量。它可以作为一个dict或一个列表传递.
    • max_to_keep：指示要保留的最近检查点文件的最大数量。创建新文件时，会删除较旧的文件。如果无或0，则保留所有检查点文件。默认为5（即保留最新的5个检查点文件。）

  • 例如：

    • saver.save(sess, ‘/tmp/ckpt/test/model’)
    • saver.restore(sess, ‘/tmp/ckpt/test/model’)
    • 保存文件格式：checkpoint文件

  • 代码实现

import tensorflow as tf
import os

with tf.variable_scope('data'):
    # 自实现一个线性回归预测
    # 1. 准备数据， x特征值[100, 1] y 目标值【100】
    x = tf.random_normal(shape=[100, 1], mean=1.75, stddev=0.5, name="x_data")
    # 假设的真实值 矩阵相乘必须是二维的
    y_true = tf.matmul(x, [[0.7]]) + 0.8

with tf.variable_scope('model'):
    # 2.建立线性回归模型， 一个特征，一个权重， 一个偏置y = x w + b
    # 随机给一个权重和偏置的值，让他计算损失，然后在当前状态下优化
    weight = tf.Variable(tf.random_normal([1,1], mean=0.0, stddev=1.0), name="w")
    bias = tf.Variable(0.0, name="b")

    y_predict = tf.matmul(x, weight) + bias

with tf.variable_scope('loss'):
    # 3. 建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_true-y_predict))

with tf.variable_scope('optimizer'):
    # 4. 梯度下降优化损失 learning_rate: 0~1
    train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)

# 收集tensor
tf.summary.scalar("losses", loss)
tf.summary.histogram("weights", weight)

# 定义合并tensor的op
merged = tf.summary.merge_all()

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

# 定义一个保存模型的实例
saver = tf.train.Saver()

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 将程序的图结构写入事件文件, graph: 把指定的图写进事件文件
    file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    
    # 打印随机初始化的权重和偏置
    print('随机初始化的参数权重为：%f,偏置为：%f' % (weight.eval(), bias.eval()))

    # 加载模型， 覆盖模型当中随机定义的参数， 从上次训练的参数结果
    # 检测其中的一个文件checkpoint是否存在
    if os.path.exists("./tmp/ckpt/checkpoint"):
        saver.restore(sess, "./tmp/ckpt/model")
    
    # 循环训练，运行优化
    for i in range(500):
        sess.run(train_op)
        
        # 运行合并的tensor
        summary = sess.run(merged)
        file_writer.add_summary(summary,i)
        
        print('第%d步参数权重为：%f,偏置为：%f' % (i, weight.eval(), bias.eval()))
        
        if i % 100 == 0:
            # 保存模型, model为模型的名字
            saver.save(sess, "./tmp/ckpt/model")

7. 自定义命令行参数

7.1. tf.app.flags,它支持应用从命令行接受参数， 可以用来指定集群配置等。在tf.app.flags下面有各种定义参数的类型

  • DEFINE_string(flag_name, default_value, docstring)
  • DEFINE_integer(flag_name, default_value, docstring)
  • DEFINE_boolean(flag_name, default_value, docstring)
  • DEFINE_float(flag_name, default_value, docstring)

7.2. tf.app.flags.,在flags有一个FLAGS标志，它在程序中可以调用到我们前面具体定义的flag_name

7.3. 通过tf.app.run()启动main(argv)函数

7.4. 代码实现

import tensorflow as tf
import os

# 定义命令行参数
# 1. 首先定义有哪些参数需要在运行时候指定
# 2. 程序当中获取定义命令行定义的参数
#  第一个参数：名字，默认值， 说明
tf.app.flags.DEFINE_integer("max_step",100, "模型训练的步数")
tf.app.flags.DEFINE_string("model_dir"," ", "模型的加载路径")
# 定义获取命令行参数名字
FLAGS = tf.app.flags.FLAGS

with tf.variable_scope('data'):
    # 自实现一个线性回归预测
    # 1. 准备数据， x特征值[100, 1] y 目标值【100】
    x = tf.random_normal(shape=[100, 1], mean=1.75, stddev=0.5, name="x_data")
    # 假设的真实值 矩阵相乘必须是二维的
    y_true = tf.matmul(x, [[0.7]]) + 0.8

with tf.variable_scope('model'):
    # 2.建立线性回归模型， 一个特征，一个权重， 一个偏置y = x w + b
    # 随机给一个权重和偏置的值，让他计算损失，然后在当前状态下优化
    weight = tf.Variable(tf.random_normal([1,1], mean=0.0, stddev=1.0), name="w")
    bias = tf.Variable(0.0, name="b")

    y_predict = tf.matmul(x, weight) + bias

with tf.variable_scope('loss'):
    # 3. 建立损失函数，均方误差
    loss = tf.reduce_mean(tf.square(y_true-y_predict))

with tf.variable_scope('optimizer'):
    # 4. 梯度下降优化损失 learning_rate: 0~1
    train_op = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(loss)

# 收集tensor
tf.summary.scalar("losses", loss)
tf.summary.histogram("weights", weight)

# 定义合并tensor的op
merged = tf.summary.merge_all()

# 定义一个初始化变量的op
init_op = tf.global_variables_initializer()

# 定义一个保存模型的实例
saver = tf.train.Saver()

with tf.Session() as sess:
    # 初始化变量
    sess.run(init_op)
    
    # 将程序的图结构写入事件文件, graph: 把指定的图写进事件文件
    file_writer = tf.summary.FileWriter("./tmp/summary/test/", graph=sess.graph)
    
    # 打印随机初始化的权重和偏置
    print('随机初始化的参数权重为：%f,偏置为：%f' % (weight.eval(), bias.eval()))

    # 加载模型， 覆盖模型当中随机定义的参数， 从上次训练的参数结果
    # 检测其中的一个文件checkpoint是否存在
    if os.path.exists("./tmp/ckpt/checkpoint"):
        saver.restore(sess, FLAGS.model_dir)
    
    # 循环训练，运行优化
    for i in range(FLAGS.max_step):
        sess.run(train_op)
        
        # 运行合并的tensor
        summary = sess.run(merged)
        file_writer.add_summary(summary,i)
        
        print('第%d步参数权重为：%f,偏置为：%f' % (i, weight.eval(), bias.eval()))
        
        if i % 100 == 0:
            # 保存模型, model为模型的名字
            saver.save(sess, FLAGS.model_dir)

7.5. 运行命令

  • python demo2.py --max_step=500 --model_dir="./tmp/ckpt/model"

7.6. 测试截图

在这里插入图片描述

越奋斗，越幸运
关注
专栏目录
[Python人工智能] 十一.Tensorflow如何保存神经网络参数
杨秀璋的专栏
01-02 9989
从本专栏开始，作者正式开始研究Python深度学习、神经网络及人工智能相关知识。前一篇详细讲解了Tensorflow+Opencv实现CNN自定义图像分类案例，它能解决我们现实论文或实践中的图像分类问题，并与机器学习的图像分类算法进行对比实验。这篇文章将讲解TensorFlow如何保存变量和神经网络参数，通过Saver保存神经网络，再通过Restore调用训练好的神经网络。基础性文章，希望对您有所帮助~
Tensorflow进阶（二）
qq_41889395的博客
11-21 180
Tensorflow进阶 记录，成为更好的自己 1.图 2.会话 3.张量 4.变量 5.模型保存和加载 6.自定义命令行参数 4. 变量 变量也是一种op，是一种特殊的张量，能够进行存储持久化，它的值就是张量 1. 变量op能够持久化保存，普通张量是不行的。如线性回归中的参数，系数就需要持久化保存。 2. 当定义一个变量op的时候，一定要在会话当中去运行初始化 变量的创建 创建一个...
Tensorflow可视化工具Tensorboard的初步使用问题记录
qq_42267185的博客
03-05 237
TensorBoard是TensorFlow下的一个可视化的工具，能够帮助我们在训练大规模神经网络过程中出现的复杂且不好理解的运算。TensorBoard能展示你训练过程中绘制的图像、网络结构等。 但在学习过程中遇到了tensorboard无法启动的问题。 1 .使用Pycharm运行文件后，产生event文件 # 通过会话运行程序 with tf.Session() as sess: ...
02.Tensorflow基础用法
weixin_30675247的博客
03-12 73
tensorboard accuracy 1.什么是tensorflow？ 　　Tensorflow是一个编程系统，使用图（graphs）来表示计算任务，图（graphs）中的节点称之为op（operation） 　　一个op获得0个或多个Tensor，执行计算，产生0个或多个Tensor。Tensor 看作是一个 n 维的数组或列表。图必须在会话（Session）里被启动。 ...
5.tensorflow2.0基础
qq_45627332的博客
06-26 767
tensorflow2.0基础二 一、查看版本 import tensorflow as tf print("TensorFlow版本是：",tf.__version__) #显示Tensorflow版本，注意：是两个下划线 区别一：输出数值 #tensorflow输出节点数值时要使用一个会话 #tensorflow2.0版本可以使用numpy()方法，以下是使用numpy（）方法输出数值 import tensorflow as tf node1 = tf.constant([[3.0,1.5],[2
TensorFlow 2官方教程 . Keras机器学习基础知识 . 基本图像分类
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本/工具书
03-21 633
写在前面 此篇博客翻译自tensorflow官方教程: https://www.tensorflow.org/tutorials/keras/classification 笔者吐槽一下: 本来只打算转载顺便看看官方教程，结果这一篇的前后两篇都翻译了，它却没被翻译 另外，笔者水平有限，若有翻译错误，还请不吝赐教 如果之后该文档被翻译了，还请小伙伴们通知我一下 此博客教程可在tensorflow官方g...
已解决Using TensorFlow backend.
热门推荐
努力让自己发光，对的人才能迎着光而来
12-18 1万+
已解决（tensorflow 、keras导入报错）FutureWarning: Conversion of the second ard. In future, it will be treated as np.float64 == np.dtype(float).type. from ._conv import register_converters as _register_converters Using TensorFlow backend.
【TensorFlow2.x开发—基础】 简介、安装、入门应用案例
黎国溥
04-26 9457
目前最新版本是TensorFlow2.5.0；TensorFlow 是一种用于表达机器学习算法的接口，也是一种用于执行此类算法的实现。它是端到端的方式进行机器学习开发，可以帮助我们开发和训练机器学习模型。
Tensorflow学习
omnispace的博客
09-21 1043
github地址：https://github.com/lawlite19/MachineLearning_TensorFlow 一、TensorFlow介绍 1、什么是TensorFlow 官网：https://www.tensorflow.org/TensorFlow是Google开发的一款神经网络的Python外部的结构包, 也是一个采用数据流图来进行数值计算的开源软件
TensorFlow学习笔记（一）TensorFlow基础
没有胡子的猫Asimov
08-24 551
TensorFlow学习笔记（一）TensorFlow基础 import tensorflow as tf import tensorflow.keras as keras import tensorflow.keras.layers as layers # physical_devices = tf.config.experimental.list_physical_devices('GPU') # assert len(physical_devices) > 0, "Not enough GPU
深度学习卷积神经网络，tensorflow1.x版本从入门安装环境到模型代码运行，tensorflow1.x用LeNet实现手写数字识别
m0_59799878的博客
03-20 1029
清华大学开源软件镜像站，致力于为国内和校内用户提供高质量的开源软件镜像、Linux 镜像源服务，帮助用户更方便地获取开源软件。先输入命令：conda config --set show_channel_urls yes ，然后去anaconda安装的路径找到。注意：如果你的添加镜像源后不能用conda下载模块，那么就删除掉不用配置镜像源了，使用。得到的结果如下，其中可以看出第二行第四列预测错误，正确结果应该是3，模型结果是5。然后输入命令jupyter notebook就可以到浏览器写代码了。
TensorFlow基础
qq_40488951的博客
01-18 307
gpu 图像处理器
Tensorflow 2.* 网络训练(三) keras.callbacks 回调函数
Forrest97的博客
06-10 3996
回调函数（callback）是在调用fit 时传入模型的一个对象（即实现特定方法的类实例），它在训练过程中的不同时间点都会被模型调用。它可以访问关于模型状态与性能的所有可用数据，还可以采取行动：中断训练、保存模型、加载一组不同的权重或改变模型的状态。 keras中也提供了丰富的回调API，我们可以根据需求自定义相关的对象。 文章目录BaseLoggerCSVLoggerEarlyStoppingLearningRateSchedulerModelCheckpointReduceLROnPlateau自定义C
基于asp.net的工作流程审批系统设计与实现.docx
09-30
基于asp.net的工作流程审批系统设计与实现.docx
这是各种对象检测数据集的预处理相关工具脚本的集合.zip
09-30
这是各种对象检测数据集的预处理相关工具脚本的集合
基于asp.net的驾校理论考试网上模拟系统设计与实现.docx
09-30
基于asp.net的驾校理论考试网上模拟系统设计与实现.docx
基于Python与Shell的阿里巴巴智能运维竞赛排名14设计源码
09-30
该项目为阿里巴巴智能运维竞赛排名14的设计源码，采用Python和Shell两种编程语言，共包含27个文件，包括2个Python脚本、1个PDF文档、1个Markdown文件、1个文本文件、1个CSV文件、1个Shell脚本以及5个特定数据模型文件。该解决方案旨在提升运维效率，适用于大型企业的智能运维场景。
DRF完整项目及uwsgi部署配置
最新发布
09-30
DRF完整项目及uwsgi部署配置
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts. tensorflow 2.0.0 requires astor>=0.6.0, which is not installed. tensorflow 2.0.0 requires gast==0.2.2, which is not installed. tensorflow 2.0.0 requires google-pasta>=0.1.6, which is not installed. tensorflow 2.0.0 requires opt-einsum>=2.3.2, which is not installed. tensorflow 2.0.0 requires tensorflow-estimator<2.1.0,>=2.0.0, which is not installed. tensorflow 2.0.0 requires termcolor>=1.1.0, which is not installed. tensorflow 2.0.0 requires wrapt>=1.11.1, which is not installed.
06-03
这个错误提示是因为你在使用 TensorFlow 2.0.0 时，缺少了一些依赖包。你可以通过以下命令安装这些依赖包： ``` pip install astor gast google-pasta opt-einsum tensorflow-estimator<2.1.0 termcolor wrapt ``` 安装完成后，再次运行 TensorFlow 2.0.0 的代码即可。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值