Tensorflow基础知识：图、张量、会话和计算设备分配解析(一)

最新推荐文章于 2022-09-10 08:00:00 发布
最新推荐文章于 2022-09-10 08:00:00 发布
阅读量6.3k 收藏
点赞数 2
分类专栏： # TensorFlow1.x # AI ABC 文章标签： 图(graph) 张量(tensor) 会话(session) 设备(device)

Tensorflow是一个通过计算图的形式表述计算的编程系统.计算图中包含张量(tensor)和运算(operation),张量即为Tensorflow的数据结构,运算为Tensorflow的计算方式.图结构包含节点(node)和边缘(edge),节点表示运算(operation),边表示张量(tensor).

1 图(Graph)

Tensorflow程序会自动维护一个默认的图,对图中的变量进行计算.通过tf.get_default_graph获取当前默认的计算图.可通过tf.Graph生成新的计算图,不同计算图的张量和运算不会共享.

1.0 使用默认图

  • Demo
import tensorflow as tf
tf.reset_default_graph()
# 节点即运算
# 新建节点(node),将值(250)添加到图中,得到张量(tensor)
# 使用name自定义名称
v1 = tf.constant(250, name="v_1")
# 系统自动分配name
v2 = tf.constant(250)
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
# 新建操作(op),使用Variable封装,可操作对应的张量
v3 = tf.Variable(tf.constant(250), name="v_3")

print("variable 1 : {}".format(v1))
print("variable 2 : {}".format(total))
print("variable 3 : {}".format(v3))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
variable 2 : Tensor("add:0", shape=(), dtype=int32)
variable 3 : <tf.Variable 'v_3:0' shape=() dtype=int32_ref>
  • Analysis
    (1) 使用Tensorflow默认图进行节点和边的定义;
    (2) tf.consant直接新建节点,并将节点存入图结构中,返回张量;
    (3) tf.Variable将节点封装,存入图中,返回张量;

1.2 新建图

  • Demo
import tensorflow as tf
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    # 节点即运算
    # 新建节点(node),将值添加到图中,得到张量(tensor)
    # 使用name自定义名称
    v1 = tf.constant(250, name="v_1")
    v2 = tf.constant(250, name="v_2")
    # 系统自动分配name
    v3 = tf.constant(250)
    # 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
    total = v1 + v2
    # 新建操作(op),使用Variable封装,可操作对应的张量
    # 使用name自定义名称
    v4 = tf.Variable(tf.constant(250), name="v_4")
    # 使用系统分配name
    v5 = tf.Variable(tf.constant(250))
    
    print("variable 1 : {}".format(v1))
    print("variable 2 : {}".format(total))
    print("variable 3 : {}".format(v3))
    print("variable 4 : {}".format(v4))
    print("variable 5 : {}".format(v5))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
variable 2 : Tensor("add:0", shape=(), dtype=int32)
variable 3 : Tensor("Const:0", shape=(), dtype=int32)
variable 4 : <tf.Variable 'v_4:0' shape=() dtype=int32_ref>
variable 5 : <tf.Variable 'Variable:0' shape=() dtype=int32_ref>
  • Analysis
    (1) 利用tf.Graph自定义图,在图中定义节点和边;
    (2) tf.Graph构建一个命名空间,为每个节点指定一个唯一的名称,如v_1:0,其中,v_1为设定的name,若不指定name则系统自动分配,如Const:0,Variable:0,命名格式:OP_Name:i,其中OP_NAME为生成该张量的操作名称,如Const,Variable,i为索引的,是一个整数;
    (3) 将自定义的图作为默认图g.as_default,其他同1.0节;

1.3 获取默认图

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    v1 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    v2 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    # 查看张量所属的计算图
    print("graph address: {}".format(v1.graph))
    # 获取当前默认图
    print("graph : {}".format(v1.graph is tf.get_default_graph()))
  • Result
graph address: <tensorflow.python.framework.ops.Graph object at 0x7fa78c6747b8>
graph : True
  • Analysis
    (1) 张量通过属性graph可查看所属的计算图;
    (2) 通过tf.get_default_graph方法获取当前计算图;

2 张量(Tensor)

张量是Tensorflow的核心数据单位,一个张量由一组形成阵列(任意维度)的原始值组成,张量的阶是其维数,形状是一个整数元组.

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()

v1 = tf.Variable(np.random.rand(2, 3))
print("variable 1: {}".format(v1))
  • Result
variable 1: <tf.Variable 'Variable:0' shape=(2, 3) dtype=float64_ref>
  • Analysis
    (1) 默认图新建节点,返回Tensor,Tensor的shape即形状为元组(2, 3),维数为2行3列,即变量的阶;
    (2) Tensorflow中的值可以使用外部的模块产生值,存入图中,如numpy;

3 会话(Session)

tf.Session在Tensorflow中表示客户端程序,即实现访问本地设备和分布式Tensorflow运行时的设备,也可用于缓存tf.Graph的信息,完成图结构的计算.

3.1 默认会话

-Demo

import tensorflow as tf
tf.reset_default_graph()
# 节点即运算
# 新建节点(node),将值添加到图中,得到张量(tensor)
v1 = tf.constant(250, name="v_1")
v2 = tf.constant(250, name="v_2")
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
# 新建操作(op),使用Variable封装,可操作对应的张量
v3 = tf.Variable(tf.constant(250), name="v_3")

print("variable 1 : {}".format(v1))
print("total : {}".format(total))
with tf.Session() as sess:
    print("variable 1: {}".format(sess.run(v1)))
    print("total: {}".format(sess.run(total)))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
total : Tensor("add:0", shape=(), dtype=int32)
variable 1: 250
total: 500
  • Analysis
    (1) 默认会话,默认图,会话使用with结构,调用结束会自动关闭;
    (2) 会话方法run用于运行节点或评估张量,可向sess.run传递多个节点或张量;
    (3) 使用sess.run即可获取张量或节点的值,如250和500;

3.2 自定义图结构使用会话

  • Demo
import tensorflow as tf
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    # 节点即运算
    # 新建节点(node),将值添加到图中,得到张量(tensor)
    # 使用name自定义名称
    v1 = tf.constant(250, shape=[1], name="v_1")
    v2 = tf.constant(250, name="v_2")
    # 系统自动分配name
    v3 = tf.constant(250)
    # 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
    total = v1 + v2
    # 新建操作(op),使用Variable封装,可操作对应的张量
    # 使用name自定义名称
    v4 = tf.Variable(tf.constant(250), name="v_4")
    # 使用系统分配name
    v5 = tf.Variable(tf.constant(250))
    
    print("variable 1 : {}".format(v1))
    print("total : {}".format(total))
# 使用新建图
with tf.Session(graph=g) as sess:
    print("variable 1: {}".format(sess.run(v1)))
    print("total: {}".format(sess.run(total)))
  • Result
variable 1 : Tensor("v_1:0", shape=(1,), dtype=int32)
total : Tensor("add:0", shape=(1,), dtype=int32)
variable 1: [250]
total: [500]
  • Analysis
    (1) 自定义图,会话在新建图中运行,会话使用with结构,调用结束会自动关闭;
    (2) 会话方法run用于运行节点或评估张量,可向sess.run传递多个节点或张量;
    (3) 使用sess.run即可获取张量或节点的值,如[250]和[500];

3.3 会话使用dict数据

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    v1 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    v2 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    total = v1 + v2
    with tf.Session() as sess:
        a = [125]
        b = [125]
        total = sess.run(total, feed_dict={v1: a, v2: b})
        print("total : {}".format(total))
  • Result
total : [250]
  • Analysis
    (1) tf.Session的run方法可接受dict形式的数据,通过placeholder占位符获取传输的数据;
    (2) 传入数据的形状与placeholder数据形状保持一致;

4 设备(device)

tf.device是Tensorflow进行指定分布式计算设备的工具,通过该函数分配计算的设备.
tf.device("/job:<JOB_NAME>/task:<TASK_INDEX>/device:<DEVICE_TYPE>:<DEVICE_INDEX>")

序号参数描述
1JOB_NAME字母数字字符串,不以数字开头
2DEVICE_TYPE注册设备类型,如GPU或CPU
3TASK_INDEX非负整数,表明JOB_NAME作业中的任务索引
4DEVICE_INDEX非负整数,表示设备索引

4.1 获取运算分配情况

  • Demo
import tensorflow as tf
import numpy as np
# 设置打印系统设备信息log_device_placement=True
# 设置GPU与CPU自动切换,即不能使用GPU的计算会自动迁移到CPU上计算
config = tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)
v1 = tf.constant(250, shape=[1], name="v_1")
v2 = tf.constant(250, name="v_2")
# 系统自动分配name
v3 = tf.constant(250)
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
with tf.Session(config=config) as sess:
	print("total: {}".format(sess.run(total)))
	print(config)
  • Result
2019-02-21 11:15:21.615593: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device
2019-02-21 11:15:21.618821: I tensorflow/core/common_runtime/direct_session.cc:307] Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device

add: (Add): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.619969: I tensorflow/core/common_runtime/placer.cc:927] add: (Add)/job:localhost/replica:0/task:0/device:CPU:0
v_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.619996: I tensorflow/core/common_runtime/placer.cc:927] v_1: (Const)/job:localhost/replica:0/task:0/device:CPU:0
v_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.620004: I tensorflow/core/common_runtime/placer.cc:927] v_2: (Const)/job:localhost/replica:0/task:0/device:CPU:0
Const: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.620011: I tensorflow/core/common_runtime/placer.cc:927] Const: (Const)/job:localhost/replica:0/task:0/device:CPU:0
total: [500]
log_device_placement: true
  • Analysis
    (1) 系统设备信息:XLA_CPU:0即系统只有一个CPU;
    (2) add: (Add): /job:localhost/replica:0/task:0/device:CPU:0将add操作分配在CPU:0上;
    (3) 通过设定allow_soft_placement自动切换GPU与CPU的调度;

4.1 指定计算设备

  • Demo
import tensorflow as tf
# 获取计算所在设备信息
config = tf.ConfigProto(log_device_placement=True)
# 指定计算设备
with tf.device("/device:CPU:0"):
	v1 = tf.constant([125], shape=[1], name="v_1")
	v2 = tf.constant([125], shape=[1], name="v_2")
	total = v1 + v2
	with tf.Session(config=config) as sess:
		print("total: {}".format(sess.run(total)))
  • Result
2019-02-21 17:55:28.521380: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device
2019-02-21 17:55:28.524281: I tensorflow/core/common_runtime/direct_session.cc:307] Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device

add: (Add): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525161: I tensorflow/core/common_runtime/placer.cc:927] add: (Add)/job:localhost/replica:0/task:0/device:CPU:0
v_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525175: I tensorflow/core/common_runtime/placer.cc:927] v_1: (Const)/job:localhost/replica:0/task:0/device:CPU:0
v_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525183: I tensorflow/core/common_runtime/placer.cc:927] v_2: (Const)/job:localhost/replica:0/task:0/device:CPU:0
total: [250]
  • Analysis
    (1) 通过tf.device设定计算的设备;
    (2) 可通过指定设备进行计算,这也是合理利用计算机资源和实现并行,提高计算速度的方法.

[参考文献]
[1]https://www.tensorflow.org/guide/low_level_intro
[2]https://www.tensorflow.org/guide/graphs
[3]https://github.com/tensorflow/tensorflow/blob/r1.12/tensorflow/core/protobuf/config.proto

天然玩家
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
tf-mnist：Tensorflow MNIST
02-08
1. **TensorFlow基础知识**：了解TensorFlow的基本概念，如张量、会话、图模型等，以及如何定义、初始化和操作张量。 2. **MNIST数据预处理**：理解如何加载MNIST数据集，进行数据预处理，如归一化、reshape等，...
Tensorflow的初步学习之图、会话、张量
qq_42994177的博客
10-30 208
目录 图 会话 会话的run()方法 张量 张量的阶和数据类型 张量的动态形状和静态形状 张量操作 生成张量 切片和扩展 变量 参考教程：http://c.biancheng.net/tensorflow/、https://www.tensorflow.org/ 图 tensor 张量 flow 流动 图默认已经注册，一组表示tf.Operation计算单位的对象和一组表示tf.Tensor操作之间流动的数据单元的对象 获取调用： 1. tf.get_default_...
【TensorFlow】带你搞懂 TensorFlow 中的张量数据结构
m0_51816252的博客
09-10 613
Tensorflow的基本数据结构是张量Tensor。张量即多维数组。Tensorflow的张量和numpy中的array很类似。从行为特性来看，有两种类型的张量，常量constant和变量Variable. 常量的值在计算图中不可以被重新赋值，变量可以在计算图中用assign等算子重新赋值。
tensor
fVector的博客
10-19 106
import tensorflow as tf tensor = tf.constant(0) #产生常数 tf.rank(tensor) #0,常数的秩为0 #直接打印tensor print(tensor) #tf.Tensor(0, shape=(), dtype=int32), 会出现值，shape和dtype #tensor 转换为numpy,只需要tensor后加 '.numpy()'即可 tensor.numpy() x = tf.constant([[1,1],
tensorflow多机/多GPU训练时使用的术语
Daniel2333的博客
05-08 4078
replica: 使用多机训练时， 一台机器对应一个replica——复本 tower：使用多GPU训练时， 一个GPU上对就一个tower
Tensorflow(二)之基础知识初探
人生二两酒
01-23 252
Tensorflow两个重要的概念，Tensor和flow。Tensor是张量，可以简单的理解为多维数组，表明了Tensorflow的数据结构。Flow是“流”，表达了张量之间通过计算相互转化的过程，表明了Tensorflow的计算模型。 1.数据模型-张量     概述： 在Tensorflow中，数据结构都用张量表示。张量中并没有真正保存数字，而是保存了得到数字的计算过程。    属性...
tensorflow中tensor的理解
qq_22522663的博客
04-17 1201
import tensorflow as tf a = tf.constant([1.0, 2.0], name = 'a') b = tf.constant([2.0, 3.0], name = 'b') result = tf.add(a, b, name = 'add') print(result)结果：Tensor(“add:0”, shape=(2,), dtype=float32) 张
tensorflow 计算图和张量的使用
tz_zs的博客
01-13 1394
____tz_zs学习笔记# -*- coding: utf-8 -*- """ @author: tz_zs(t3_1) 计算图的使用 """ import tensorflow as tf a = tf.constant([1.0, 2.0], name="a") b = tf.constant([2.0, 3.0], name="b") result = a + b # a.graph...
TensorFlow入门：第一个机器学习Demo
热门推荐
戈云飞的博客
12-13 18万+
本文主要通过一个简单的 Demo 介绍 TensorFlow 初级 API 的使用方法，引导刚接触 TensorFlow 或者 机器学习的同学，能够从第一步开始学习 TensorFlow。
TensorFlow之设备(device)详解
荒野雄兵的专栏
04-18 8104
对TensorFlow不了解的，猛的一看还以为TensorFlow是个设备什么的，其实本文要说的是Python的TensorFlow模块下一个叫device()的方法，即: import tensorflow as tf with tf.device('/gpu:0'): ... ... ... 设备是指一块可以用来运算并且拥有自己的地址空间的硬件，如CPU和GPU T...
解决Tensorflow使用CPU报错[ /job:localhost/replica:0/task:0/device:CPU:0 ]
梦醒时分
11-21 2万+
最近在跟着&lt;21个项目玩转深度学习&gt;中第三章的模型,但是遇见一个问题,我认为应该是CPU和GPU的使用问题. 解决方法是将slim文件夹中的train_image_classifier.py文件中的 tf.app.flags.DEFINE_boolean('clone_on_cpu', Flase, 'Use CPUs to...
‘Tensor(“arg0:0“, shape=(), dtype=float32, device=/device:CPU:0)的问题
weixin_44837166的博客
06-28 9076
**tensorflow程序再liunx服务器上报错： ** ValueError: Tensor conversion requested dtype string for Tensor with dtype float32: 'Tensor(“arg0:0”, shape=(), dtype=float32, device=/device:CPU:0) 先简单介绍一下： 自己正在跑Bert模...
Tensorflow分布式训练原理
林学森的技术专栏
04-26 2028
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
tensorflow中计算图，张量，和session
Jiashilin
07-31 396
tensorflow中计算图的概念 tensorflow程序一般分为两个阶段： 　　1、定义计算图所有的计算 　　2、在session中执行计算 在tensorflow程序中，系统会自动维护一个默认的计算图，可以通过tf.get_default_graph()函数获取。以下代码展示了如何获取 默认计算图以及如何查看一个运算所属的计算图： import tensorflow as t...
tensorflow基础知识(二) Graph计算图的创建和使用
promisejia
06-24 7091
tensorflow中Graph图 1 只创建一个Graph图 2 定义多个Graph图 3 指定Graph计算图运行的设备 tensorflow中Graph图 1 只创建一个Graph图 在Tensorflow中，始终存在一个默认的Graph，当你创建Operation、Tensor时，tensorflow会将你这些节点和边自动添加到这个默认Graph中...
TensorFlow基础知识5-会话（session）
hongxue8888的博客
08-06 1万+
1、会话简介会话在之前的文章中也使用过，这里做一个详细介绍。构造阶段完成后, 才能启动图。启动图的第一步是创建一个 Session 对象, 如果无任何创建参数, 会话构造器将启动默认图。会话会管理TensorFlow程序运行时的所有资源。当所有计算完成之后需要关闭会话来帮助系统回收资源，否则就可能出现资源泄露的问题。TensorFlow中使用会话的模式一般有两种： 1、需要明确调用会话生成函数和关
tensorflow 计算图和会话
得克特
08-28 481
文章目录计算图常用方式 计算图 计算图是Tensorflow一个基本概念，Tensorflow中的所有计算都会被转化为计算图上的节点。Tensorflow中的每一个计算都是计算图上的一个节点，而节点之间的边描述了计算之间的依赖关系。 TENSORFLOW入门教程三—计算图 常用方式 获取tensor的图以及当前默认图 x = tf.constant([[1,2],[3,4]]) print(x.graph is tf.get_default_graph()) 新建图有多种方式 # 新建图并作为默认图 t
TensorFlow 默认计算图、默认会话、计算机制
Tech Memo
09-04 545
目录计算图 和 默认计算图会话 和 默认会话 计算图 和 默认计算图 tensorflow 可以定义多个计算图，分别在不同的计算图里定义不同的计算。 但是，我发现： 想在计算图里定义变量、常量、张量、op等节点的话，必须要先将该计算图设置为“默认计算图”。 # 如果去掉 as_default() 就会报错 with tf.Graph().as_default() as graph: ... 会话 和 默认会话 想执行计算图，有两种方法： 一种是用会话的 run 方法，另一种是用节点自己的 run 或 e
【TensorFlow】理解TensorFlow计算图
dominic_z的博客
06-13 3953
博客TensorFlow基础知识:计算图中的Op,边,和张量中有一句话，对于我来说是醍醐灌顶，一下子明白了TensorFlow的计算模式 计算图的定义和图的运算是分开的.tensorflow是一个’符号主义的库’.编程模式分为两类,命令式(imperative style)和符号式(symbolic style).命令式的程序很容易理解和调试,它按照原有的逻辑运行.符号式则相反,在现有的深度学习...
TensorFlow 基础教程简介.docx
最新发布
03-24
本资源是一份关于TensorFlow基础教程的简介文档，TensorFlow作为一款...这份文档为初学者提供了TensorFlow的基础知识，从张量概念到模型构建流程，旨在帮助读者快速理解和掌握这款框架，以便于他们在实际项目中应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值