TensorFlow 从入门到精通(七):TensorFlow 运行原理

原创 2016年06月08日 12:47:39

通过几个例程,我们逐渐对 TensorFlow 建立了感性认识。本文将进一步从内在原理进行深入理解,进而为阅读源码打好基础。


1. 图(Graph)

TensorFlow 计算被抽象为包括若干节点的有向图。如下图所示例子:

对应的 TensorFlow Python 代码如下:

import tensorflow as tf
b = tf.Variable(tf.zeros([100]))                   # 100-d vector, init to zeroes
W = tf.Variable(tf.random_uniform([784,100],-1,1)) # 784x100 matrix w/rnd vals
x = tf.placeholder(name="x")
relu = tf.nn.relu(tf.matmul(W, x) + b)
C = [...]
s = tf.Session()
for step in xrange(0, 10):
  input = ...construct 100-D input array ...
  result = s.run(C, feed_dict={x: input})
  print step, result

在 TensorFlow 有向图中,每个节点表示运算符,可以有零个或多个输入,零个或多个输出。

在有向图的普通棱边(从一个节点输出到另一个节点输入)流动的数值称为张量(Tensor),本质为任意维度数组。张量的元素数据类型可以显式指定或在构建有向图时推断得到。

有关图及张量的实现源码均位于 tensorflow/tensorflow/python/framework/ops.py,我们后面会细讲。


2. 运算符(Operations)与核函数(Kernels)

TensorFlow 支持多种常用运算符,如矩阵乘、加法。

核函数是运算符的特定实现,可以运行在特定类型设备上(如 CPU 或 GPU )。

TensorFlow 通过注册机制来确定支持的运算符集合和核函数,方便进一步扩展。

表1 展示了 TensorFlow 内置的一些运算符种类:


运算符相关的代码位于:tensorflow/tensorflow/python/ops/ 目录下。以数学运算符为例,代码为上述目录下的 math_ops.py,间接地调用了 gen_math_ops.py,又调用了 tensorflow/tensorflow/core/kernels/ 下面的核函数实现。这些我们会在后面细讲。


3. 会话(Sessions)

客户端程序通过创建会话同 TensorFlow 系统交互。

为了创建一个计算图,会话接口支持扩展方法来补充当前图。

Run 接口允许指定将某个张量 Tensor 作为入口参数馈入计算图,得到一组计算输出。

会话相关源码位于 tensorflow/tensorflow/python/client/session.py,具体我们会在后面细讲。



4. 变量(Variables)

大多数计算中,有向图会执行多次。

大多数张量生命周期都不会超过有向图的一次执行。

变量是特殊运算,返回一个持续可更改的张量句柄,生命周期横亘有向图的多次执行。

变量句柄可以传递给大量特殊操作,如 Assign(=),AssignAdd(+=)。

对于机器学习应用,模型权值一般都会存放在变量中,更新操作会作为训练有向图 Run 的一部分。

变量相关源码位于 tensorflow/tensorflow/python/ops/variables.py,是一类特殊的运算。后面我们会细讲。

版权声明:本文为卜居原创文章,未经博主允许不得转载。卜居博客地址:http://blog.csdn.net/kkk584520

相关文章推荐

TensorFlow学习笔记(四)——TensorFlow运作方式入门、可视化

一、TensorFlow运作方式入门 fully_connected_feed.py # Copyright 2015 Google Inc. All Rights Reserved. #...

TensorFlow官方文档学习|TensorFlow运作方式入门

TensorFlow官方文档学习|TensorFlow运作方式入门   目的 data_sets.train 55000个图像和标签(labels),作为主要训练集。 data_...

tensorflow笔记 :常用函数说明

tensorflow笔记系列: (一) tensorflow笔记:流程,概念和简单代码注释 (二) tensorflow笔记:多层CNN代码分析 (三) tensorflow笔...

TensorFlow结构分析及自定义Op

$(tensorflow)/tensorflow/core/ops/* 调用REGISTER_OP $(tensorflow)/tensorflow/core/kernels/* 继承OpKerne...

TensorFlow 从入门到精通(五):使用 TensorFlow 实现 RNN

# Copyright 2015 Google Inc. All Rights Reserved. # # Licensed under the Apache License, Version 2.0...

TensorFlow分布式全套(原理,部署,实例)

TF的实现分为了单机实现和分布式实现,在分布式实现中,需要实现的是对client,master,worker process不在同一台机器上时的支持。数据量很大的情况下,单机跑深度学习程序,过于耗时,...

Tensorflow(一) 安装运行

TensorFlow 支持以下几种安装方式: 源码编译安装PIP 安装Docker 镜像安装Virtual Env 安装 源码编译安装 下载源码 $ git clone --recurse-s...

TensorFlow Python API解析:图的核心数据结构

1. Graph类的要点:(1) TensorFlow中的计算,表示为一个数据流图,简称“图”;(2) 一个Graph实例就是一个图,由一组Operation对象和Tensor对象构成:每个Opera...

TensorFlow 从入门到精通(六):tensorflow.nn 详解

看过前面的例子,会发现实现深度神经网络需要使用 tensorflow.nn 这个核心模块。我们通过源码来一探究竟。# Copyright 2015 Google Inc. All Rights Res...

TensorFlow使用next_batch()读取/tensorflow.python.framework.errors_impl.InvalidArgumentError: Expect 3 fi

分批次读取csv文件,如图: 源代码: import tensorflow as tf import numpy as np def readMyFileFormat(fileNameQueue...
  • gsww404
  • gsww404
  • 2017年09月25日 15:06
  • 723
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:TensorFlow 从入门到精通(七):TensorFlow 运行原理
举报原因:
原因补充:

(最多只允许输入30个字)