Tensorflow在容器性能测试中的问题

Docker是利用Linux操作系统自带的namespace实现资源的隔离，利用cgroup实现资源的限制。虽然Docker针对Linux硬件资源做了限制，但是当类似于java、python这样的语言，调用一些系统内核数据时，使用的仍然会是未进行隔离之前的数据。

在使用容器方式部署Tensorflow时，有两个限制线程数量的参数，即inter_op_parallelism_threads和intra_op_parallelism_threads，如果值为0，TF会自动选择一个合适的值，默认情况下，这个指就是所在机器的cpu核数。

但是，如果使用的容器方式进行部署，如k8s，虽然对容器的资源如cpu数量进行了限制，但是tensorflow在使用上述参数获取默认值时，仍然使用的是容器所在宿主机的cpu核数。这就造成了一个问题，即如果容器所在的物理机有40核，而容器自身将cpu限制为4核，那么Tensorflow在配置并行度线程时，仍然按照40核来进行设置，这样会造成实际的线程数量要比预计的多得多，而按照python的机制，线程数量的增多会导致GCroots变量的增多，除了线程自身所占的内存外，会有更多的堆内存无法释放，这样也会造成容器使用的内存大大增多。