tensorflow常用函数

tf.app.flags.DEFINE_xxx()就是添加命令行的optional argument（可选参数），
tf.app.flags.FLAGS可以从对应的命令行参数取出参数。

打印版本
print(“Python Interpreter version:%s” % sys.version[:3])
print(“tensorflow version:%s” % tf.version)

TensorFlow数据读取机制:
假设我们的硬盘中有一个图片数据集0001.jpg，0002.jpg，0003.jpg……我们只需要把它们读取到内存中，然后提供给GPU或是CPU进行计算就可以了。这听起来很容易，但事实远没有那么简单。事实上，我们必须要把数据先读入后才能进行计算，假设读入用时0.1s，计算用时0.9s，那么就意味着每过1s，GPU都会有0.1s无事可做，这就大大降低了运算的效率。
如何解决这个问题？方法就是将读入数据和计算分别放在两个线程中，将数据读入内存的一个队列，如下图所示：

读取线程源源不断地将文件系统中的图片读入到一个内存的队列中，而负责计算的是另一个线程，计算需要数据时，直接从内存队列中取就可以了。这样就可以解决GPU因为IO而空闲的问题！

TensorFlow使用文件名队列+内存队列双队列的形式读入文件，可以很好地管理epoch
对于文件名队列，我们使用tf.train.string_input_producer函数。这个函数需要传入一个文件名list，系统会自动将它转为一个文件名队列。此外tf.train.string_input_producer还有两个重要的参数，一个是num_epochs，它就是我们上文中提到的epoch数。另外一个就是shuffle，shuffle是指在一个epoch内文件的顺序是否被打乱。若设置shuffle=False，如下图，每个epoch内，数据还是按照A、B、C的顺序进入文件名队列，这个顺序不会改变：

如果设置shuffle=True，那么在一个epoch内，数据的前后顺序就会被打乱，如下图所示：

在TensorFlow中，内存队列不需要我们自己建立，我们只需要使用reader对象从文件名队列中读取数据就可以了，
reader = tf.WholeFileReader()// reader从文件名队列中读数据，但是此处只是读到内存中，但是图片没有被解码。
key, value = reader.read(filename_queue)
如果需要得到解码的图片，使用：
images = tf.image.decode_jpeg(value , channels=3)
\除了tf.train.string_input_producer外，我们还要额外介绍一个函数：tf.train.start_queue_runners。初学者会经常在代码中看到这个函数，但往往很难理解它的用处，在这里，有了上面的铺垫后，我们就可以解释这个函数的作用了。
在我们使用tf.train.string_input_producer创建文件名队列后，整个系统其实还是处于“停滞状态”的，也就是说，我们文件名并没有真正被加入到队列中。此时如果我们开始计算，因为内存队列中什么也没有，计算单元就会一直等待，导致整个系统被阻塞。
而使用tf.train.start_queue_runners之后，才会启动填充队列的线程，这时系统就不再“停滞”。此后计算单元就可以拿到数据并进行计算，整个程序也就跑起来了，这就是函数tf.train.start_queue_runners的用处。

tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值

多GPU使用：
一种经常提及的方法是设置可见的GPU，方法是通过设置CUDA_VISIBLE_DEVICES来完成，如果在shell中运行，每次运行某个shell脚本之前，加上export CUDA_VISIBLE_DEVICES=0#或者是你期望运行的GPU id（0到n-1,其中n是机器上GPU卡的数量），如果是在python脚本，还可以在所有代码之前:
import os
os.environ[‘CUDA_DEVICES_ORDER’] = ‘PCI_BUS_ID’
os.environ[‘CUDA_VISIBLE_DEVICES’] = ‘3,4’
另外为缓解tensorflow一上来就占满整个GPU导致的问题，还可以在创建sess的时候传入附加的参数，更好的控制GPU的使用方法是
config = tf.ConfigProto(allow_soft_placement=True,allow_grouth=True)
config.gpu_options.per_process_gpu_memory_fraction = 0.9 #占用90%显存

其实tensorflow使用多GPU也可以使用tf.device("/gpu:0")之类的包起来。

如果需要打印debug中间的张量，使用命令。
outputs = tf.Print(outputs, [outputs, ‘test’], message=‘Debug message:’, summarize=100)
cdf = tf.Print(cdf, [‘test’, array_ops.shape(cdf), cdf], message=‘Debug message:’, summarize=10)

我们就可以考虑使用expand_dims来将维度加1。在对图像维度降到二维做特定操作后，要还原成四维[batch, height, width, channels]，前后各增加一维。
one_img = tf.expand_dims(one_img, 0)
one_img = tf.expand_dims(one_img, -1) #-1表示最后一维