Tensorflow-slim 学习笔记(二)第一层目录代码解读

通过阅读代码来学习,一向时最直接快速的。本章将讲解slim的第一层目录tensorflow/tensorflow/contrib/slim/python/slim的代码。

本层代码主要包括learning.py, evaluation.py, summary.py, queue.py和model_analyzer.py,分别对应模型的训练,测试,日志记录,队列管理和模型分析部分。

让巴默索泪来带你由易到难来阅读下这些代码吧。以下内容基本按照难度排序。

1. 模型分析模块 model_analyzer.py

这段代码提供了分析Tensorflow图中的运算和变量的工具。

  #To analyze the operations in a graph:

  images, labels = LoadData(...)  
  predictions = MyModel(images)

  slim.model_analyzer.analyze_ops(tf.get_default_graph(), print_info=True)

  #To analyze the model variables in a graph:

  variables = tf.model_variables()  

  slim.model_analyzer.analyze_vars(variables, print_info=False)

2. queue.py提供了队列内容管理代码

3. summaries.py 包括了生成日至纪录的辅助函数, summaries_test.py是它的一个测试,使用例子见下:

  import tensorflow as tf
  slim = tf.contrib.slim

  slim.summaries.add_histogram_summaries(slim.variables.get_model_variables())
  slim.summaries.add_scalar_summary(total_loss, 'Total Loss')
  slim.summaries.add_scalar_summary(learning_rate, 'Learning Rate')
  slim.summaries.add_histogram_summaries(my_tensors)
  slim.summaries.add_zero_fraction_summaries(my_tensors)

4.  evaluation.py一般不会使用slim的代码,故忽略。

5. 最重要的训练模型的代码在learning.py中,其中learning_test.py是一个测试例子

    learning.py中包括训练模型所需的多个函数,包括操作梯度,生成一个训练操作(train_op, 一个计算loss并应用梯度的操作)以及训练的循环函数。训练循环要求用户传入train_op就可以进行优化。注意在这里训练循环使用了tf.train.Supervisor以及在它代码实现中的managed_session,这可以保证机器可以从运行失败中恢复训练。Supervisor是对负责训练程序的Coordinator,Saver和SessionManager的封装。下面是一个简单的例子:

  # Load data and create the model:

  images, labels = LoadData(...)
  predictions = MyModel(images)

  # Define the loss:
  slim.losses.log_loss(predictions, labels)
  total_loss = slim.losses.get_total_loss()

  # Define the optimizer:
  optimizer = tf.train.MomentumOptimizer(FLAGS.learning_rate, FLAGS.momentum)

  # Create the train_op
  train_op = slim.learning.create_train_op(total_loss, optimizer)

  # Run training.
  slim.learning.train(train_op, my_log_dir)

训练必须首先定义一个 train_op, 它的作用包括:(1)计算损失(2)将梯度运用于参数的更新(3)返回损失值

train_op有时还必须在训练时,执行额外的非梯度更新的操作,比如batch_norm。batch_norm在训练时需要执行一系列非梯度的更新操作。slim.learning.create_train_op允许用户同时将update_ops的列表以及梯度更新操作同时传递给函数。

  train_op = slim.learning.create_train_op(total_loss, optimizer, update_ops)  

默认情况下,slim.learning.create_train_op包括了所有在tf.GraphKeys.UPDATE_OPS集合中的更新操作。而且,slim的slim.batch_norm函数将moving mean和moving variance的更新加入了这个集合。因此,使用slim.batch_norm的用户不用考虑任务多余的步骤就能保证moving mean 和moving variance的更新会被正确的计算。如果用户需要加入额外的更新操作,可以使用下面的代码:

 

  # Force TF-Slim NOT to use ANY update_ops:
  train_op = slim.learning.create_train_op(
  total_loss,
  optimizer,
  update_ops=[])

 

  # Use an alternative set of update ops:
  train_op = slim.learning.create_train_op(
  total_loss,
  optimizer,
  update_ops=my_other_update_ops)

 

  # Use an alternative set of update ops in addition to the default updates:
  tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, my_update0)
  tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, my_update1)

 

  train_op = slim.learning.create_train_op(
  total_loss,
  optimizer)

 

  # Which is the same as:
  train_op = slim.learning.create_train_op(
  total_loss,
  optimizer,
  update_ops=tf.get_collection(tf.GraphKeys.UPDATE_OPS))

learning训练最重要的有两个函数:create_train_op以及train

 

(1)def create_train_op(total_loss,
                     optimizer,
                                 global_step=_USE_GLOBAL_STEP,
                                       update_ops=None,
                                       variables_to_train=None,
                                       clip_gradient_norm=0,
                                       summarize_gradients=False,
                                       gate_gradients=tf_optimizer.Optimizer.GATE_OP,
                                       aggregation_method=None,
                                       colocate_gradients_with_ops=False,
                                       gradient_multipliers=None,
                                       check_numerics=True)

        clip_gradient_norm:当它大于0时,梯度被截止于这个值。

返回值时一个Tensor,它计算了梯度并返回了loss值。

(2)def train(train_op,

logdir,
train_step_fn=train_step,
train_step_kwargs=_USE_DEFAULT,
log_every_n_steps=1,
graph=None,
master='',
is_chief=True,
global_step=None,
number_of_steps=None,
init_op=_USE_DEFAULT,
init_feed_dict=None,
local_init_op=_USE_DEFAULT,
init_fn=None,
ready_op=_USE_DEFAULT,
summary_op=_USE_DEFAULT,
save_summaries_secs=600,
summary_writer=_USE_DEFAULT,
startup_delay_steps=0,
saver=None,
save_interval_secs=600,
sync_optimizer=None,
session_config=None,
trace_every_n_steps=None)

这个函数使用Tensorflow的supervisor运行了一个训练循环。当使用sync_optimizer时,梯度计算是同步进行的。否则,梯度计算是异步进行的。

参数:

log_every_n_steps:损失函数和step的打印频率

master:tensorflow master的地址

is_chief:指定是否训练是有主副本实现的,当进行多副本训练时。

sync_optimizer:   一个tf.SyncReplicasOptimizer 或它们的一个列表。如果提供了这个参数,梯度更新会是同步的,如果使用None,则更新是异步的。

 

 

转载于:https://www.cnblogs.com/bmsl/p/dongbin_bmsl_02.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值