Tensorflow实战之分布式-同步模式

最新推荐文章于 2020-05-20 11:06:54 发布

李泽辰

最新推荐文章于 2020-05-20 11:06:54 发布

阅读量1k

点赞数

分类专栏： tensorflow deep learning

本文链接：https://blog.csdn.net/hanyong4719/article/details/80511125

版权

该博客介绍了如何使用TensorFlow进行分布式训练，特别是同步模式。通过示例代码展示了如何配置参数服务器和工作节点，使用tf.train.SyncReplicasOptimizer实现同步更新，并通过ExponentialMovingAverage保持变量平均值。整个训练过程包括创建集群、定义模型、设置同步机制以及执行训练。

摘要由CSDN通过智能技术生成

# -*- coding: utf-8 -*-

import time
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

import mnist_inference

# 配置神经网络的参数。
BATCH_SIZE = 100
LEARNING_RATE_BASE = 0.01
LEARNING_RATE_DECAY = 0.99
REGULARAZTION_RATE = 0.0001
TRAINING_STEPS = 20000
MOVING_AVERAGE_DECAY = 0.99

MODEL_SAVE_PATH = "C:\\Users\\Administrator\\Desktop\\LZC\\model_save_path\\"
DATA_PATH = "data"

# 和异步模式类似的设置flags。
FLAGS = tf.app.flags.FLAGS

tf.app.flags.DEFINE_string('job_name', 'worker', ' "ps" or "worker" ')
tf.app.flags.DEFINE_string(
    'ps_hosts', '10.1.4.56:2221',
    'Comma-separated list of hostname:port for the parameter server jobs. e.g. "tf-ps0:2222,tf-ps1:1111" ')
tf.app.flags.DEFINE_string(
    'worker_hosts', '10.1.4.58:2227',
    'Comma-separated list of hostname:port for the worker job