Tensorflow并行GPU计算

最新推荐文章于 2024-06-04 17:27:42 发布

_VioletHan_

最新推荐文章于 2024-06-04 17:27:42 发布

阅读量3.9k

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/VioletHan7/article/details/82769531

版权

本文介绍了Tensorflow如何利用GPU进行并行计算，包括单个GPU的使用、多GPU同步与异步训练模式的原理及优缺点，以及在一台机器上实现多GPU并行训练的代码示例。在深度学习训练中，同步模式确保设备间参数更新同步，而异步模式允许设备独立更新，各有其应用场景。

摘要由CSDN通过智能技术生成

Tensorflow使用GPU

Tensorflow程序可以通过tf.device函数来指定运行每一个操作的设备，这个设备可以是本地CPU或GPU，也可以是某一台远程服务器。

tf.device函数可以通过设备的名称来指定执行运算的设备。

如CPU在tensorflow中的名称为/cpu:0。在默认情况下，即使机器有很多个CPU，tensorflow也不会区分它们，所有的CPU都使用/cpu:0作为名称。
而一台机器上不同GPU的名称是不同的，第n个GPU在tensorflow中的名称为/gpu:n。

tensorflow提供了一个会计的方式来查看运行每一个运算的设备。在生成会话时，可以通过设置log_device_placement参数来打印运行每一个运算的设备。

import tensorflow as tf 
a=tf.constant([1.0,2.0,3.0],shape=[3],name='a')
b=tf.constant([1.0,2.0,3.0],shape=[3],name='b')
c=a+b
#通过log_device_placement参数来输出运行每一个运算的设备
sess=tf.Session(config=tf.ConfigProto(log_device_placement=True))
print (sess.run(c))

在以上代码中，tensorflow程序生成会话时加入了参数log_device_placement=True，所以程序会将运行每一个操作的设备输出到屏幕。

在配置好GPU的环境中，如果操作没有明确指定运行设备，那么tensorflow会优先选择GPU。但是，