TensorFlow学习笔记

1.基本概念

• 使用图 (graph) 来表示计算任务.
• 在被称之为 会话 (Session) 的上下文 (context) 中执行图.
• 使用 tensor 表示数据.
• 通过 变量 (Variable) 维护状态.
• 使用 feed 和 fetch 可以为任意的操作(arbitrary operation) 赋值或者从其中获取数据

Session, Graph, Operation ,Tensor关系：

一个session中可以有多个graph，但只能有一个作为默认graph运行

每个graph可以加载到多个session中运行

向graph中添加operation，需要在with语句中调用Graph.as_default()方法将某个graph设置成默认Graph

Tensor表示的是Operation的输出结果。不过，Tensor只是一个符号句柄，其并没有保存Operation输出结果的值

https://www.cnblogs.com/lienhua34/p/5998853.html

    示例：

import tensorflow as tf

# 创建一个常量 op, 产生一个 1x2 矩阵. 这个 op 被作为一个节点
# 加到默认图中.
#
# 构造器的返回值代表该常量 op 的返回值.
matrix1 = tf.constant([[3., 3.]])

# 创建另外一个常量 op, 产生一个 2x1 矩阵.
matrix2 = tf.constant([[2.],[2.]])

# 创建一个矩阵乘法 matmul op , 把 'matrix1' 和 'matrix2' 作为输入.
# 返回值 'product' 代表矩阵乘法的结果.
product = tf.matmul(matrix1, matrix2)

# 启动默认图.
sess = tf.Session()

# 调用 sess 的 'run()' 方法来执行矩阵乘法 op, 传入 'product' 作为该方法的参数. 
# 上面提到, 'product' 代表了矩阵乘法 op 的输出, 传入它是向方法表明, 我们希望取回
# 矩阵乘法 op 的输出.
#
# 整个执行过程是自动化的, 会话负责传递 op 所需的全部输入. op 通常是并发执行的.
# 
# 函数调用 'run(product)' 触发了图中三个 op (两个常量 op 和一个矩阵乘法 op) 的执行.
#
# 返回值 'result' 是一个 numpy `ndarray` 对象.
result = sess.run(product)
print result
# ==> [[ 12.]]

# 任务完成, 关闭会话.
sess.close()


# 或者通过下面方式执行，自动清理资源
with tf.Session() as sess:
  result = sess.run([product])
  print result

2.with语句

https://blog.csdn.net/jiaoyangwm/article/details/79243756

with语句是提供一个有效的机制，让代码更简练，同时在异常产生时，清理工作更简单

class A(object):
    def enter(self):
        print('enter() called')
        return self

    def print_hello(self):
        print("hello world!")

    def __exit__(self, e_t, e_v, t_b):
        print('__exit__() called')

with A() as a:  # a为enter的返回对象 
    a.print_hello()
    print('got instance') 

输出为

enter() called 
hello world! 
got instance 
exit() called

3. 指定设备

with tf.device("/gpu:1"):

• "/cpu:0": 机器的 CPU.
• "/gpu:0": 机器的第一个 GPU, 如果有的话.
• "/gpu:1": 机器的第二个 GPU, 以此类推.

4.交互式使用

TensorFlow中使用一个会话 Session 来 启动图, 并调用 Session.run() 方法执行操作

但为了便于使用诸如 IPython 之类的 Python 交互环境, 可以使用 InteractiveSession 代替 Session 类, 使用 Tensor.eval() 和 Operation.run() 方法代替 Session.run(). 这样可以避免使用一个变量来持有会话.

# 进入一个交互式 TensorFlow 会话.
import tensorflow as tf
sess = tf.InteractiveSession()

x = tf.Variable([1.0, 2.0])
a = tf.constant([3.0, 3.0])

# 使用初始化器 initializer op 的 run() 方法初始化 'x' 
x.initializer.run()

# 增加一个减法 sub op, 从 'x' 减去 'a'. 运行减法 op, 输出结果 
sub = tf.sub(x, a)
print sub.eval()
# ==> [-2. -1.]

5. Tensor（张量）

tensor是一个 n 维的数组或列表, 一个 tensor 包含 （静态类型 、rank（阶）,  shape）

http://wiki.jikexueyuan.com/project/tensorflow-zh/resources/dims_types.html

6. 变量

变量维护图执行过程中的状态信息，一般将一个神经网络的权重作为某个变量存储在一个 tensor 中. 在训练过程中, 通过重复运行训练图, 更新这个 tensor.

# 创建一个变量, 初始化为标量 0.
state = tf.Variable(0, name="counter")

# 创建一个 op, 其作用是使 state 增加 1

one = tf.constant(1)
new_value = tf.add(state, one)
update = tf.assign(state, new_value)

# 启动图后, 变量必须先经过`初始化` (init) op 初始化,
# 首先必须增加一个`初始化` op 到图中.
init_op = tf.initialize_all_variables()

# 启动图, 运行 op
with tf.Session() as sess:
  # 运行 'init' op
  sess.run(init_op)
  # 打印 'state' 的初始值
  print sess.run(state)
  # 运行 op, 更新 'state', 并打印 'state'
  for _ in range(3):
    sess.run(update)
    print sess.run(state)

# 输出:

# 0
# 1
# 2
# 3

7. Fetch

取回操作的输出内容, 可以在使用 Session 对象的 run() 调用 执行图时, 传入一些 tensor, 这些 tensor 会帮助你取回结果

input1 = tf.constant(3.0)
input2 = tf.constant(2.0)
input3 = tf.constant(5.0)
intermed = tf.add(input2, input3)
mul = tf.multiply(input1, intermed)

with tf.Session() as sess:
  result = sess.run([mul, intermed])
  # result1,result2 = sess.run([mul, intermed])
  print result

# 输出:
# [array([ 21.], dtype=float32), array([ 7.], dtype=float32)]

8. Feed

feed 使用一个 tensor 值临时替换一个操作的输入值，可以提供 feed 数据作为 run() 调用的参数. feed 只在调用它的方法内有效, 方法结束, feed 就会消失

input1 = tf.placeholder(tf.float32)
input2 = tf.placeholder(tf.float32)
output = tf.multiply(input1, input2)

with tf.Session() as sess:
  print sess.run([output], feed_dict={input1:[7.], input2:[2.]})

# 输出:
# [array([ 14.], dtype=float32)]

9.文件夹及文件操作

import os.path
import tensorflow as tf
image_dir='dog_cat'
# 判断文件夹是否存在
if not tf.gfile.Exists(image_dir):
    tf.logging.error("Image directory '" + image_dir + "' not found.")
# 获取子目录列表，列表中返回的是子目录相对当前目录的路径
sub_dirs = sorted(x[0] for x in tf.gfile.Walk(image_dir))
for sub_dir in sub_dirs:
    # 获取目录名
    dir_name = os.path.basename(sub_dir)
    if dir_name == image_dir:
      continue
    # 获取子目录下jpg文件名列表，文件名为相对路径+文件名
    file_glob = os.path.join(image_dir, dir_name, '*.jpg')
    file_list = tf.gfile.Glob(file_glob)
    for file_name in file_list:
        # 获取实际文件名
        base_name = os.path.basename(file_name)

10. tensor和numpy的array转换

数组转tensor：tensor_x=tf.convert_to_tensor(array_x)

tensor转换为数组：array_x=tensor_x.eval()或array_x=sess.run(tensor_x)

import tensorflow as tf
import numpy as np

a=np.array([[1,2,3],[4,5,6],[7,8,9]])
print (a)
b=tf.constant(a)

with tf.Session() as sess:
    print (b)
    print(sess.run(b))
    for x in b.eval():
        print (x)

    print ('array_a',a)

    tensor_a=tf.convert_to_tensor(a)
    print ('tensor_a...',tensor_a)

11. 类型转换

tf.cast(x, dtype, name=None)

• x：输入
• dtype：转换目标类型
• name：名称

12. tensorflow基础程序框架

import sys
import tensorflow as tf
import argparse

def main(argv):
    print(argv)

if __name__=='__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--image_dir',type=str,default='dog_cat',help='Path to folders of labeled images.')
    FLAGS,unparsed = parser.parse_known_args()
    #sys.argv[0] 为脚本路径+脚本名
    #sys.argv为脚本+参数
    tf.app.run(main=main,argv=[sys.argv[0]]+unparsed)

 

FAQ:

1.Attempting to use uninitialized value Variable

场景：在函数中定义变量，调用函数时报错

原因:TensorFlow变量初始化在init=tf.global_variables_initializer()；函数在sess.run(init)之后被调用，导致变量没有被初始化

解决方案：在sess.run(init)之前调用函数，并定义返回值x，在sess.run(init)之后调用sess.run(x)实际执行函数。

示例参考：https://stackoverflow.com/questions/48935867/attempting-to-use-uninitialized-value-tensorflow