TensorFlow数据读取背后的通讯机制
tensorflow背后的通讯机制以及存储压缩都是基于Protobuf,包括某些定义,比如graph。Protobuf是开源的。下载地址:Protocol Buffers - Google’s data interchange format
TensorFlow数据IO三种方式
Freload data constant 数据直接嵌入graph,由graph传入session中运行,在这种情况下数据必须是小数据,一个session只能执行一个graph,TensorFlow中的Graph是一个有向无环图(Directed acyclic graph)也就是在开始定义graph的时候就传入。一个session只能执行一个graph,如果把数据直接嵌入在graph里面,graph本身传给不同的devise也是通过压缩成Protobuf传出去的,用到devise的地方都是采取这样的方式传递。这样的话数据需要copy很多次,效率非常低,尽可能的不使用数据嵌入的方式,除非在constant相当少的情况下。
import tensorflow as tf x = tf.constant([1,2,3], name = 'x') y = tf.constant([4,5,6], name = 'y') z = tf.add(x,y,name= 'z') with tf.Session() as sess: print(sess.run(z))
运行结果:[5 7 9]
Feeding placeholder fee_dict。由占位符代替数据,运行时填入数据。先定义好placeholder然后再传入数据,placeholder的优点是在graph里面并没有把数据给到,节点的唯一的意图就是为了提供数据供给的方法。placeholder节点被声明的时候是未初始化的,也不包含数据,如