TensorFlow
是一个编程系统,使用图来表示计算任务。图中的节点被称之为op
(operation
的缩写),一个op
获得0
个或多个Tensor
,执行计算并产生0
个或多个Tensor
。每个Tensor
是一个类型化的多维数组,例如你可以将一小组图像集表示为一个四维浮点数数组,这四个维度分别是[batch, height, width, channels]
。
一个TensorFlow
图描述了计算的过程。为了进行计算,图必须在会话里被启动。会话将图的op
分发到诸如CPU
或GPU
之类的设备上,同时提供执行op
的方法。这些方法执行后,将产生的tensor
返回。在Python
语言中,返回的tensor
是numpy
的ndarray
对象;在C/C++
语言中,返回的tensor
是tensorflow::Tensor
实例。
计算图
TensorFlow
程序通常被组织成一个构建阶段和一个执行阶段。在构建阶段,op
的执行步骤被描述成一个图;在执行阶段,使用会话执行执行图中的op
。例如,通常在构建阶段创建一个图来表示和训练神经网络,然后在执行阶段反复执行图中的训练op
。
构建图
构建图的第一步是创建源op
(即source op
)。源op
不需要任何输入,例如常量(Constant
);源op
的输出被传递给其它op
做运算。
在Python
库中,op
构造器的返回值代表被构造出的op
的输出,这些返回值可以传递给其它op
构造器作为输入。TensorFlow
的Python
库有一个默认图(default graph
),op
构造器可以为其增加节点,这个默认图对许多程序来说已经足够用了。
import tensorflow as tf
# 创建一个常量op,产生一个“1 * 2”矩阵,这个op被作为一个节点加到默认图中
matrix1 = tf.constant([[3., 3.]])
# 创建另外一个常量op,产生一个“2 * 1”矩阵
matrix2 = tf.constant([[2.], [2.]])
# 创建一个矩阵乘法“matmul op”,把matrix1和matrix2作为输入,返回值product代表矩阵乘法的结果
product = tf.matmul(matrix1, matrix2)
默认图现在有三个节点,两个constant
的op
和一个matmul
的op
。为了真正进行矩阵相乘运算,并得到矩阵乘法的结果,你必须在会话里启动这个图。
启动图
构造阶段完成后,才能启动图。启动图的第一步是创建一个Session
对象,如果无任何创建参数,会话构造器将启动默认图。
sess = tf.Session() # 启动默认图
# 调用sess的run方法来执行矩阵乘法op,传入product作为该方法的参数。product代表了矩阵乘法op的输出,
# 传入它是向run方法表明,我们希望取回矩阵乘法op的输出。整个执行过程是自动化的,会话负责传递op所需的
# 全部输入,op通常是并发执行的函数调用run(product)触发了图中三个op(两个常量op和一个矩阵乘法op)
# 的执行,返回值result是一个numpy的ndarray对象
result = sess.run(product)
print(result) # 结果为[[ 12.]]
sess.close() # 任务完成,关闭会话
Session
对象在使用完后,需要关闭以释放资源。除了显式调用close
外,也可以使用with
代码块来自动完成关闭动作:
with tf.Session() as sess:
result = sess.run([product])
print(result)
TensorFlow
将图形定义转换成分布式执行的操作,以充分利用可用的计算资源(如CPU
或GPU
)。一般你不需要显式指定使用CPU
还是GPU
,TensorFlow
能自动检测。如果检测到GPU
,TensorFlow
会尽可能地利用找到的第一个GPU
来执行操作。如果机器上有超过一个可用的GPU
,除第一个外的其它GPU
默认是不参与计算的。为了让TensorFlow
使用这些GPU
,你必须将op
明确指派给它们执行。with ... Device
语句用来指派特定的CPU
或GPU
执行操作:
with tf.Session() as sess:
with tf.device("/gpu:1"):
matrix1 = tf.constant([[3., 3.]])
matrix2 = tf.constant([[2.], [2.]])
product = tf.matmul(matrix1, matrix2)
Tensors - generalized matrices
Tensors have a shape that’s described with a vector:
[10000, 256, 256, 3]
10000
images, each image has 256
rows, each row has 256
pixels, each pixel has 3
channels (RGB
).
Computation is a dataflow graph
With tensors:
with state: