Tensorflow（二）单机多卡分布式训练

最新推荐文章于 2024-08-20 18:55:43 发布

Sesen_s

最新推荐文章于 2024-08-20 18:55:43 发布

阅读量3.7k

点赞数

分类专栏： tensorflow

本文链接：https://blog.csdn.net/weixin_40546602/article/details/81414321

版权

本文介绍了如何在Tensorflow中设置单机多卡的分布式训练，通过实例展示了分布式训练的效果。未进行分布式训练时，所有四块GPU会默认参与运算，导致训练过程更快但未充分利用资源。

摘要由CSDN通过智能技术生成

建立分布式训练：

# 计算losses:
with tf.device('/gpu:0'):
    D_real_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=D_logit_real,
                                                                         labels=tf.ones_like(D_logit_real)))
    D_fake_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=D_logit_fake,
                                                                         labels=tf.zeros_like(D_logit_fake)))
    D_loss = D_fake_loss + D_real_loss
    D_solver = tf.train.AdamOptimizer().minimize(D_loss, var_list=theta_D)
with tf.device('/gpu:1'):
    G_loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits=D_logit_fake, labels=tf.ones_like(D_logit_fake)))
    G_solver = tf.train.AdamOptimizer().minimize(G_loss, var_list=theta_G)

分布式训练结果：