分布式tensorflow测试同步更新结果及问题

最新推荐文章于 2021-08-12 16:19:37 发布

__Sunny__

最新推荐文章于 2021-08-12 16:19:37 发布

阅读量1.8k

点赞数

分类专栏： TensorFlow 文章标签： TensorFlow

本文链接：https://blog.csdn.net/s_sunnyy/article/details/71173142

版权

这篇博客记录了4个节点使用TensorFlow进行同步更新的测试过程，详细列出了每个任务ID在不同步骤的训练速度。尽管遇到了速度不一致和效率问题，但测试结果显示了分布式训练的基本流程。

摘要由CSDN通过智能技术生成

这一篇博客写了异步更新的结果，本篇是4个节点同步更新的测试结果，问题跟那篇博客一样。

task_id=0
step 5 (34.5 examples/sec; 3.708 sec/batch)
step 10 (31.8 examples/sec; 4.026 sec/batch)
step 10 (33.0 examples/sec; 3.880 sec/batch)
step 15 (32.7 examples/sec; 3.916 sec/batch)
step 15 (38.3 examples/sec; 3.341 sec/batch)
step 20 (33.0 examples/sec; 3.883 sec/batch)
step 25 (30.4 examples/sec; 4.215 sec/batch)
step 60 (34.1 examples/sec; 3.757 sec/batch)
step 65 (31.2 examples/sec; 4.104 sec/batch)

task_id=1
step 5 (27.1 examples/sec; 4.720 sec/batch)
step 5 (22.9 examples/sec; 5.582 sec/batch)
step 10 (23.7 examples/sec; 5.106 sec/batch)
step 15 (22.4 examples/sec; 5.727 sec/batch)
step 20 (22.5 examples/sec; 5.68