TensorFlow编程模型

  TensorFlow是一个编程系统，使用图来表示计算任务。图中的节点被称之为op(operation的缩写)，一个op获得0个或多个Tensor，执行计算并产生0个或多个Tensor。每个Tensor是一个类型化的多维数组，例如你可以将一小组图像集表示为一个四维浮点数数组，这四个维度分别是[batch, height, width, channels]。
  一个TensorFlow图描述了计算的过程。为了进行计算，图必须在会话里被启动。会话将图的op分发到诸如CPU或GPU之类的设备上，同时提供执行op的方法。这些方法执行后，将产生的tensor返回。在Python语言中，返回的tensor是numpy的ndarray对象；在C/C++语言中，返回的tensor是tensorflow::Tensor实例。

计算图

  TensorFlow程序通常被组织成一个构建阶段和一个执行阶段。在构建阶段，op的执行步骤被描述成一个图；在执行阶段，使用会话执行执行图中的op。例如，通常在构建阶段创建一个图来表示和训练神经网络，然后在执行阶段反复执行图中的训练op。

构建图

  构建图的第一步是创建源op(即source op)。源op不需要任何输入，例如常量(Constant)；源op的输出被传递给其它op做运算。
  在Python库中，op构造器的返回值代表被构造出的op的输出，这些返回值可以传递给其它op构造器作为输入。TensorFlow的Python库有一个默认图(default graph)，op构造器可以为其增加节点，这个默认图对许多程序来说已经足够用了。

import tensorflow as tf

# 创建一个常量op，产生一个“1 * 2”矩阵，这个op被作为一个节点加到默认图中
matrix1 = tf.constant([[3., 3.]])
# 创建另外一个常量op，产生一个“2 * 1”矩阵
matrix2 = tf.constant([[2.], [2.]])
# 创建一个矩阵乘法“matmul op”，把matrix1和matrix2作为输入，返回值product代表矩阵乘法的结果
product = tf.matmul(matrix1, matrix2)

默认图现在有三个节点，两个constant的op和一个matmul的op。为了真正进行矩阵相乘运算，并得到矩阵乘法的结果，你必须在会话里启动这个图。

启动图

  构造阶段完成后，才能启动图。启动图的第一步是创建一个Session对象，如果无任何创建参数，会话构造器将启动默认图。

sess = tf.Session()  # 启动默认图
# 调用sess的run方法来执行矩阵乘法op，传入product作为该方法的参数。product代表了矩阵乘法op的输出，
# 传入它是向run方法表明，我们希望取回矩阵乘法op的输出。整个执行过程是自动化的，会话负责传递op所需的
# 全部输入，op通常是并发执行的函数调用run(product)触发了图中三个op(两个常量op和一个矩阵乘法op)
# 的执行，返回值result是一个numpy的ndarray对象
result = sess.run(product)
print(result)  # 结果为[[ 12.]]
sess.close()  # 任务完成，关闭会话

Session对象在使用完后，需要关闭以释放资源。除了显式调用close外，也可以使用with代码块来自动完成关闭动作：

with tf.Session() as sess:
    result = sess.run([product])
    print(result)

  TensorFlow将图形定义转换成分布式执行的操作，以充分利用可用的计算资源(如CPU或GPU)。一般你不需要显式指定使用CPU还是GPU，TensorFlow能自动检测。如果检测到GPU，TensorFlow会尽可能地利用找到的第一个GPU来执行操作。如果机器上有超过一个可用的GPU，除第一个外的其它GPU默认是不参与计算的。为了让TensorFlow使用这些GPU，你必须将op明确指派给它们执行。with ... Device语句用来指派特定的CPU或GPU执行操作：

with tf.Session() as sess:
    with tf.device("/gpu:1"):
        matrix1 = tf.constant([[3., 3.]])
        matrix2 = tf.constant([[2.], [2.]])
        product = tf.matmul(matrix1, matrix2)

Tensors - generalized matrices

  Tensors have a shape that’s described with a vector:

[10000, 256, 256, 3]

10000 images, each image has 256 rows, each row has 256 pixels, each pixel has 3 channels (RGB).

Computation is a dataflow graph

  With tensors:

with state: