Tensorflow基础知识：图、张量、会话和计算设备分配解析(一)

最新推荐文章于 2022-09-10 08:00:00 发布
最新推荐文章于 2022-09-10 08:00:00 发布
阅读量6.3k 收藏
点赞数 2
分类专栏： # TensorFlow1.x # AI ABC 文章标签： 图(graph) 张量(tensor) 会话(session) 设备(device)

Tensorflow是一个通过计算图的形式表述计算的编程系统.计算图中包含张量(tensor)和运算(operation),张量即为Tensorflow的数据结构,运算为Tensorflow的计算方式.图结构包含节点(node)和边缘(edge),节点表示运算(operation),边表示张量(tensor).

1 图(Graph)

Tensorflow程序会自动维护一个默认的图,对图中的变量进行计算.通过tf.get_default_graph获取当前默认的计算图.可通过tf.Graph生成新的计算图,不同计算图的张量和运算不会共享.

1.0 使用默认图

  • Demo
import tensorflow as tf
tf.reset_default_graph()
# 节点即运算
# 新建节点(node),将值(250)添加到图中,得到张量(tensor)
# 使用name自定义名称
v1 = tf.constant(250, name="v_1")
# 系统自动分配name
v2 = tf.constant(250)
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
# 新建操作(op),使用Variable封装,可操作对应的张量
v3 = tf.Variable(tf.constant(250), name="v_3")

print("variable 1 : {}".format(v1))
print("variable 2 : {}".format(total))
print("variable 3 : {}".format(v3))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
variable 2 : Tensor("add:0", shape=(), dtype=int32)
variable 3 : <tf.Variable 'v_3:0' shape=() dtype=int32_ref>
  • Analysis
    (1) 使用Tensorflow默认图进行节点和边的定义;
    (2) tf.consant直接新建节点,并将节点存入图结构中,返回张量;
    (3) tf.Variable将节点封装,存入图中,返回张量;

1.2 新建图

  • Demo
import tensorflow as tf
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    # 节点即运算
    # 新建节点(node),将值添加到图中,得到张量(tensor)
    # 使用name自定义名称
    v1 = tf.constant(250, name="v_1")
    v2 = tf.constant(250, name="v_2")
    # 系统自动分配name
    v3 = tf.constant(250)
    # 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
    total = v1 + v2
    # 新建操作(op),使用Variable封装,可操作对应的张量
    # 使用name自定义名称
    v4 = tf.Variable(tf.constant(250), name="v_4")
    # 使用系统分配name
    v5 = tf.Variable(tf.constant(250))
    
    print("variable 1 : {}".format(v1))
    print("variable 2 : {}".format(total))
    print("variable 3 : {}".format(v3))
    print("variable 4 : {}".format(v4))
    print("variable 5 : {}".format(v5))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
variable 2 : Tensor("add:0", shape=(), dtype=int32)
variable 3 : Tensor("Const:0", shape=(), dtype=int32)
variable 4 : <tf.Variable 'v_4:0' shape=() dtype=int32_ref>
variable 5 : <tf.Variable 'Variable:0' shape=() dtype=int32_ref>
  • Analysis
    (1) 利用tf.Graph自定义图,在图中定义节点和边;
    (2) tf.Graph构建一个命名空间,为每个节点指定一个唯一的名称,如v_1:0,其中,v_1为设定的name,若不指定name则系统自动分配,如Const:0,Variable:0,命名格式:OP_Name:i,其中OP_NAME为生成该张量的操作名称,如Const,Variable,i为索引的,是一个整数;
    (3) 将自定义的图作为默认图g.as_default,其他同1.0节;

1.3 获取默认图

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    v1 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    v2 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    # 查看张量所属的计算图
    print("graph address: {}".format(v1.graph))
    # 获取当前默认图
    print("graph : {}".format(v1.graph is tf.get_default_graph()))
  • Result
graph address: <tensorflow.python.framework.ops.Graph object at 0x7fa78c6747b8>
graph : True
  • Analysis
    (1) 张量通过属性graph可查看所属的计算图;
    (2) 通过tf.get_default_graph方法获取当前计算图;

2 张量(Tensor)

张量是Tensorflow的核心数据单位,一个张量由一组形成阵列(任意维度)的原始值组成,张量的阶是其维数,形状是一个整数元组.

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()

v1 = tf.Variable(np.random.rand(2, 3))
print("variable 1: {}".format(v1))
  • Result
variable 1: <tf.Variable 'Variable:0' shape=(2, 3) dtype=float64_ref>
  • Analysis
    (1) 默认图新建节点,返回Tensor,Tensor的shape即形状为元组(2, 3),维数为2行3列,即变量的阶;
    (2) Tensorflow中的值可以使用外部的模块产生值,存入图中,如numpy;

3 会话(Session)

tf.Session在Tensorflow中表示客户端程序,即实现访问本地设备和分布式Tensorflow运行时的设备,也可用于缓存tf.Graph的信息,完成图结构的计算.

3.1 默认会话

-Demo

import tensorflow as tf
tf.reset_default_graph()
# 节点即运算
# 新建节点(node),将值添加到图中,得到张量(tensor)
v1 = tf.constant(250, name="v_1")
v2 = tf.constant(250, name="v_2")
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
# 新建操作(op),使用Variable封装,可操作对应的张量
v3 = tf.Variable(tf.constant(250), name="v_3")

print("variable 1 : {}".format(v1))
print("total : {}".format(total))
with tf.Session() as sess:
    print("variable 1: {}".format(sess.run(v1)))
    print("total: {}".format(sess.run(total)))
  • Result
variable 1 : Tensor("v_1:0", shape=(), dtype=int32)
total : Tensor("add:0", shape=(), dtype=int32)
variable 1: 250
total: 500
  • Analysis
    (1) 默认会话,默认图,会话使用with结构,调用结束会自动关闭;
    (2) 会话方法run用于运行节点或评估张量,可向sess.run传递多个节点或张量;
    (3) 使用sess.run即可获取张量或节点的值,如250和500;

3.2 自定义图结构使用会话

  • Demo
import tensorflow as tf
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    # 节点即运算
    # 新建节点(node),将值添加到图中,得到张量(tensor)
    # 使用name自定义名称
    v1 = tf.constant(250, shape=[1], name="v_1")
    v2 = tf.constant(250, name="v_2")
    # 系统自动分配name
    v3 = tf.constant(250)
    # 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
    total = v1 + v2
    # 新建操作(op),使用Variable封装,可操作对应的张量
    # 使用name自定义名称
    v4 = tf.Variable(tf.constant(250), name="v_4")
    # 使用系统分配name
    v5 = tf.Variable(tf.constant(250))
    
    print("variable 1 : {}".format(v1))
    print("total : {}".format(total))
# 使用新建图
with tf.Session(graph=g) as sess:
    print("variable 1: {}".format(sess.run(v1)))
    print("total: {}".format(sess.run(total)))
  • Result
variable 1 : Tensor("v_1:0", shape=(1,), dtype=int32)
total : Tensor("add:0", shape=(1,), dtype=int32)
variable 1: [250]
total: [500]
  • Analysis
    (1) 自定义图,会话在新建图中运行,会话使用with结构,调用结束会自动关闭;
    (2) 会话方法run用于运行节点或评估张量,可向sess.run传递多个节点或张量;
    (3) 使用sess.run即可获取张量或节点的值,如[250]和[500];

3.3 会话使用dict数据

  • Demo
import tensorflow as tf
import numpy as np
tf.reset_default_graph()
g = tf.Graph()
with g.as_default():
    v1 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    v2 = tf.placeholder(tf.int32, shape=[1], name="v_1")
    total = v1 + v2
    with tf.Session() as sess:
        a = [125]
        b = [125]
        total = sess.run(total, feed_dict={v1: a, v2: b})
        print("total : {}".format(total))
  • Result
total : [250]
  • Analysis
    (1) tf.Session的run方法可接受dict形式的数据,通过placeholder占位符获取传输的数据;
    (2) 传入数据的形状与placeholder数据形状保持一致;

4 设备(device)

tf.device是Tensorflow进行指定分布式计算设备的工具,通过该函数分配计算的设备.
tf.device("/job:<JOB_NAME>/task:<TASK_INDEX>/device:<DEVICE_TYPE>:<DEVICE_INDEX>")

序号参数描述
1JOB_NAME字母数字字符串,不以数字开头
2DEVICE_TYPE注册设备类型,如GPU或CPU
3TASK_INDEX非负整数,表明JOB_NAME作业中的任务索引
4DEVICE_INDEX非负整数,表示设备索引

4.1 获取运算分配情况

  • Demo
import tensorflow as tf
import numpy as np
# 设置打印系统设备信息log_device_placement=True
# 设置GPU与CPU自动切换,即不能使用GPU的计算会自动迁移到CPU上计算
config = tf.ConfigProto(log_device_placement=True, allow_soft_placement=True)
v1 = tf.constant(250, shape=[1], name="v_1")
v2 = tf.constant(250, name="v_2")
# 系统自动分配name
v3 = tf.constant(250)
# 将运算(op)和张量(tensor)添加到默认图中,得到新的运算(op)
total = v1 + v2
with tf.Session(config=config) as sess:
	print("total: {}".format(sess.run(total)))
	print(config)
  • Result
2019-02-21 11:15:21.615593: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device
2019-02-21 11:15:21.618821: I tensorflow/core/common_runtime/direct_session.cc:307] Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device

add: (Add): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.619969: I tensorflow/core/common_runtime/placer.cc:927] add: (Add)/job:localhost/replica:0/task:0/device:CPU:0
v_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.619996: I tensorflow/core/common_runtime/placer.cc:927] v_1: (Const)/job:localhost/replica:0/task:0/device:CPU:0
v_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.620004: I tensorflow/core/common_runtime/placer.cc:927] v_2: (Const)/job:localhost/replica:0/task:0/device:CPU:0
Const: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 11:15:21.620011: I tensorflow/core/common_runtime/placer.cc:927] Const: (Const)/job:localhost/replica:0/task:0/device:CPU:0
total: [500]
log_device_placement: true
  • Analysis
    (1) 系统设备信息:XLA_CPU:0即系统只有一个CPU;
    (2) add: (Add): /job:localhost/replica:0/task:0/device:CPU:0将add操作分配在CPU:0上;
    (3) 通过设定allow_soft_placement自动切换GPU与CPU的调度;

4.1 指定计算设备

  • Demo
import tensorflow as tf
# 获取计算所在设备信息
config = tf.ConfigProto(log_device_placement=True)
# 指定计算设备
with tf.device("/device:CPU:0"):
	v1 = tf.constant([125], shape=[1], name="v_1")
	v2 = tf.constant([125], shape=[1], name="v_2")
	total = v1 + v2
	with tf.Session(config=config) as sess:
		print("total: {}".format(sess.run(total)))
  • Result
2019-02-21 17:55:28.521380: I tensorflow/core/platform/cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA
Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device
2019-02-21 17:55:28.524281: I tensorflow/core/common_runtime/direct_session.cc:307] Device mapping:
/job:localhost/replica:0/task:0/device:XLA_CPU:0 -> device: XLA_CPU device

add: (Add): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525161: I tensorflow/core/common_runtime/placer.cc:927] add: (Add)/job:localhost/replica:0/task:0/device:CPU:0
v_1: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525175: I tensorflow/core/common_runtime/placer.cc:927] v_1: (Const)/job:localhost/replica:0/task:0/device:CPU:0
v_2: (Const): /job:localhost/replica:0/task:0/device:CPU:0
2019-02-21 17:55:28.525183: I tensorflow/core/common_runtime/placer.cc:927] v_2: (Const)/job:localhost/replica:0/task:0/device:CPU:0
total: [250]
  • Analysis
    (1) 通过tf.device设定计算的设备;
    (2) 可通过指定设备进行计算,这也是合理利用计算机资源和实现并行,提高计算速度的方法.

[参考文献]
[1]https://www.tensorflow.org/guide/low_level_intro
[2]https://www.tensorflow.org/guide/graphs
[3]https://github.com/tensorflow/tensorflow/blob/r1.12/tensorflow/core/protobuf/config.proto

天然玩家
关注
专栏目录
tensorflow-01张量，图，会话，placeholder
tom199611的博客
08-20 237
sklearn：在分类，回归领域不错。图像领域效果差 tensorflow ：图像，nlp领域。 特别是卷积神经网络：图像识别 循环神经网络：自然语言处理nlp。 谷歌brain2015推出tensorflow（带graph的可视化，非常方便） 优点： 1、可移植性 支持包括CPU/GPU/TPU，以及能够很好地运行在移动端， 如安卓设备、ios、树莓派等等 2、多语言支持 python/c++...
TensorFlow笔记-03-张量,计算图,会话
肖朋伟
08-20 8611
TensorFlow笔记-02-张量,计算图,会话 搭建你的第一个神经网络，总结搭建八股 基于TensorFlow的NN：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重（参数），得到模型 张量（tensor）：多维数组（列表） 阶：张量的维数 ···维数······阶 ··········名字············例子············· ···...
怎么设置TensorFlow自动分配设备
small_dudu的博客
06-25 658
#初始化信息， #如果指定的设备不存在，允许TensorFlow自动分配设备 # init session # 1.记录设备指派情况: tf.ConfigProto(log_device_placement=True) # 设置tf.ConfigProto() # 中参数log_device_placement = True, 可以获取到operations和Tensor # 被指派到哪个设备(...
TensorFlow 入门（一）计算图，张量和会话
weixin_43900469的博客
02-17 362
1.计算图 隔离张量和计算，同时管理张量和计算 tf.Graphy生成新的计算图 tf.Graphy.device()指定运行设备： with g.device('/gpu:0'): result = a _b 在一个计算图中,通过集合管理资源。 2.张量 在功能上看做多维数组，但其实是对Tensorflow中计算结果的应用 具有名字，维度，类型三个属性 属性 使用 名字 na...
【TensorFlow】带你搞懂 TensorFlow 中的张量数据结构
m0_51816252的博客
09-10 654
Tensorflow的基本数据结构是张量Tensor。张量即多维数组。Tensorflow的张量和numpy中的array很类似。从行为特性来看，有两种类型的张量，常量constant和变量Variable. 常量的值在计算图中不可以被重新赋值，变量可以在计算图中用assign等算子重新赋值。
TensorFlow入门指南：变量、卷积与流程图解析
"Tensorflow是一个强大的开源库，用于各种机器学习和深度学习任务。它通过定义计算图来工作，其中变量需要初始化并在会话(session)中执行。文档涵盖了Tensorflow的基础，包括feature模块、wide and deep模型的参数...
快速入门TensorFlow 2教程：源码解析
这个资源特别适合那些希望在较短时间内掌握TensorFlow基础知识的学习者。 TensorFlow 2.x版本相较于早期版本，更加注重易用性和灵活性，其核心API经过重新设计，使得用户能够更容易地构建和训练深度学习模型。在新...
TensorFlow入门指南：深度解析与通用方法
作者的目标是填补现有的教程在某些方面的空白，通过深入剖析TensorFlow的基础抽象概念，如张量、计算图、会话和自动微分，帮助读者建立起对TensorFlow内部机制的清晰认识。这些概念是理解和操作TensorFlow的基础，...
TensorFlow入门指南：从安装到基础教程
文档首先介绍了TensorFlow的基础知识，包括其核心概念和安装过程。 1. **起步**：这一部分详细讲解了如何开始使用TensorFlow。从**简介**中，我们可以了解到TensorFlow的主要功能和应用范围。**下载与安装**章节...
TensorFlow全教程：从基础到深度学习实战指南
本章首先介绍了Tensorflow的安装和基本使用方法，然后深入讲解了张量(Tensor)、计算图(Graph)、会话(Session)等核心概念。进阶部分则包括了自动微分、优化器选择、自定义操作等高级特性。此部分是整个教程的核心，为...
Tensorflow快速入门 - Tensorflow计算模型-计算图和数据模型-张量
Jasonxubiubiu的博客
09-10 258
注：本文中所有代码均为py3，技术小白初入AI，请各位多多指教 初入Tensorflow，对它的计算机制和数据模型搞不清楚，因此系统地学习了之后做了一些整理。 Tensorflow从名字上就可分为tensor和flow tensor即为张量 - 对应的tensorflow中的数据模型 flow为流 - 体现了它的计算模型 一、 计算图 Tensorflow中的所有计算都会转化为计算图。...
TensorFlow入门——计算图，张量，会话
mxb1234567的博客
07-30 295
TensorFlow计算模型——计算图 TensorFlow数据模型——张量 TensorFlow运行模型——会话
Tensorflow的初步学习之图、会话、张量
qq_42994177的博客
10-30 415
目录 图 会话 会话的run()方法 张量 张量的阶和数据类型 张量的动态形状和静态形状 张量操作 生成张量 切片和扩展 变量 参考教程：http://c.biancheng.net/tensorflow/、https://www.tensorflow.org/ 图 tensor 张量 flow 流动 图默认已经注册，一组表示tf.Operation计算单位的对象和一组表示tf.Tensor操作之间流动的数据单元的对象 获取调用： 1. tf.get_default_...
tensor
fVector的博客
10-19 149
import tensorflow as tf tensor = tf.constant(0) #产生常数 tf.rank(tensor) #0,常数的秩为0 #直接打印tensor print(tensor) #tf.Tensor(0, shape=(), dtype=int32), 会出现值，shape和dtype #tensor 转换为numpy,只需要tensor后加 '.numpy()'即可 tensor.numpy() x = tf.constant([[1,1],
TensorFlow创建常量(tf.constant)详解
炼金术的修行
08-28 10万+
在TensorFlow API中创建持久化变量的函数原型如下所示： tf.constant( value, dtype=None, shape=None, name='Const', verify_shape=False ) 可以看到第一个值value是必须的，可以是一个数值，也可以是一个列表。 如果是数值： tensor=tf.consta...
TensorFlow入门：第一个机器学习Demo
热门推荐
戈云飞的博客
12-13 18万+
本文主要通过一个简单的 Demo 介绍 TensorFlow 初级 API 的使用方法，引导刚接触 TensorFlow 或者 机器学习的同学，能够从第一步开始学习 TensorFlow。
解决Tensorflow使用CPU报错[ /job:localhost/replica:0/task:0/device:CPU:0 ]
梦醒时分
11-21 2万+
最近在跟着&lt;21个项目玩转深度学习&gt;中第三章的模型,但是遇见一个问题,我认为应该是CPU和GPU的使用问题. 解决方法是将slim文件夹中的train_image_classifier.py文件中的 tf.app.flags.DEFINE_boolean('clone_on_cpu', Flase, 'Use CPUs to...
Tensorflow分布式训练原理
林学森的技术专栏
04-26 2081
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值