Tensorflow 多线程设置

Tensorflow 多线程设置

一. 通过 ConfigProto 设置多线程 

（具体参数功能及描述见  tensorflow/core/protobuf/config.proto）

在进行 tf.ConfigProto() 初始化时，可以通过设置相应的参数，来控制每个操作符 op 并行计算的线程个数或 session 线程池的线程数。主要涉及的参数有以下三个:

1. intra_op_parallelism_threads 控制运算符op内部的并行

当运算符 op 为单一运算符，并且内部可以实现并行时，如矩阵乘法，reduce_sum 之类的操作，可以通过设置 intra_op_parallelism_threads 参数来并行。

2. inter_op_parallelism_threads 控制多个运算符op之间的并行计算

当有多个运算符 op，并且他们之间比较独立，运算符和运算符之间没有直接的路径 Path 相连。Tensorflow会尝试并行地计算他们，使用由 inter_op_parallelism_threads 参数来控制数量的一个线程池。
在第一次创建会话将设置将来所有会话的线程数，除非是配置了 session_inter_op_thread_pool 选项。

3. session_inter_op_thread_pool 配置会话线程池。

如果会话线程池的 num_threads 为 0，使用 inter_op_parallelism_threads 选项。

二. 通过队列进行数据读取时设置多线程 

（具体函数功能及描述见 tensorflow/python/training/input.py）

1. 通过以下函数进行样