Tensorflow ConfigProto & inter_/intra_op_parallelism_threads 整理

tensorflow ConfigProto有什么用：

tf.ConfigProto一般用在创建session的时候。用来对session进行参数配置，参数包括：

a）记录设备指派情况：为了获取你的 operations 和 Tensor 被指派到哪个设备上运行, 用 log_device_placement 新建一个 session, 并设置为 True：sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))这将会打印出各个操作在哪个设备（cpu或者gpu）上运行。

另：可以手动设置哪些操作在cpu或者GPU上运行，即：with tf.device('/cpu:0'):，这就设定了设备环境为cpu0，在这个设备环境下的操作都将在cpu0上进行。

b）为了避免出现你指定的设备不存在这种情况, 你可以在创建的 session 里把参数 allow_soft_placement 设置为 True, 这样 tensorFlow 会自动选择一个存在并且支持的设备来运行 operation.

c）config = tf.ConfigProto()
config.gpu_options.allow_growth = True：刚一开始分配少量的GPU容量，然后按需慢慢的增加，由于不会释放内存，所以会导致碎片。

d）gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
config=tf.ConfigProto(gpu_options=gpu_options)：设置每个GPU应该拿出多少容量给进程使用，0.4代表 40%

参考：http://blog.csdn.Net/u012436149/article/details/53837651

http://wiki.jikexueyuan.com/project/tensorflow-zh/how_tos/using_gpu.html

e）intra_op_parallelism_threads和inter_op_parallelism_threads：Choose how many cores to use

源自 http://blog.csdn.net/h_jlwg6688/article/details/65441723?locationNum=12&fps=1

=========================================================================================================

多线程，设置Multi-threads

在进行tf.ConfigProto()初始化时，我们也可以通过设置intra_op_parallelism_threads参数和inter_op_parallelism_threads参数，来控制每个操作符op并行计算的线程个数。二者的区别在于:

• intra_op_parallelism_threads 控制运算符op内部的并行
• 当运算符op为单一运算符，并且内部可以实现并行时，如矩阵乘法，reduce_sum之类的操作，可以通过设置intra_op_parallelism_threads参数来并行, intra代表内部。
• inter_op_parallelism_threads 控制多个运算符op之间的并行计算
• 当有多个运算符op，并且他们之间比较独立，运算符和运算符之间没有直接的路径Path相连。Tensorflow