Tensorflow(十六)GPU设置及分布式策略

一 GPU设置

默认占用全部GPU并且内存全部占满，会导致计算资源和内存的浪费

解决方法：

内存自增长：按需分配

虚拟设备机制：切分成逻辑性GPU

多GPU使用：

虚拟GPU & 实际GPU

手工指定运算到设备 & 分布式机制

相关API:

tf.debugging.set_log_device_placement 打印变量和GPU的关系信息

tf.config.set_visible_devices 设置本进程可访问的GPU

tf.config.experimental.set_memory_growth 设置自增机制

tf.config.list_logical_devices

tf.config.list_physical_devices

tf.config.LogicalDeviceConfiguration 建立逻辑分区

tf.config.set_soft_device_placement 自动分配计算到设备

# 自动分配
tf.debugging.set_log_device_placement(True)
gpus = tf.config.experime