最近看了下cifar10源码,训练代码中使用了tf.train.SessionRunHook(),tf.train.MonitoredTrainingSession();查看官方API后终于有些眉目了,特记录备忘。
首先,先讲下tf.train.MonitoredTrainingSession();
一 .MonitoredTrainingSession()
首先,tf.train.MonitorSession()从单词的字面意思理解是用于监控训练的回话,返回值是tf.train.MonitorSession()类的一个实例Object, tf.train.MonitorSession()会在下面讲。
MonitoredTrainingSession(
master='',
is_chief=True,
checkpoint_dir=None,
scaffold=None,
hooks=None,
chief_only_hooks=None,
save_checkpoint_secs=600,
save_summaries_steps=USE_DEFAULT,
save_summaries_secs=USE_DEFAULT,
config=None,
stop_grace_period_secs=120,
log_step_count_steps=100
)
-
is_chief:用于分布式系统中,用于判断该系统是否是chief,如果为True,它将负责初始化并恢复底层TensorFlow会话。如果为False,它将等待chief初始化或恢复TensorFlow会话。
-
checkpoint_dir:一个字符串。指定一个用于恢复变量的checkpoint文件路径。
-
scaffold:用于收集或建立支持性操作的脚手架。如果未指定,则会创建默认一个默认的scaffold。它用于完成图表
-
hooks:SessionRunHook对象的可选列表。可自己定义SessionRunHook对象,也可用已经预定义好的SessionRunHook对象,如:tf.train.StopAtStepHook()设置停止训练的条件;tf.train.NanTensorHook(loss):如果loss的值为Nan则停止训练;
-
chief_only_hooks:SessionRunHook对象列表。如果is_chief== True,则激活这些挂钩,否则忽略。
-
save_checkpoint_secs:用默认的checkpoint saver保存checkpoint的频率(以秒为单位)。如果save_checkpoint_secs设置为None,不保存checkpoint。
-
save_summaries_steps:使用默认summaries saver将摘要写入磁盘的频率(以全局步数表示)。如果save_summaries_steps和save_summaries_secs都设置为None,则不使用默认的summaries saver保存summaries。默认为100
-
save_summaries_secs:使用默认summaries saver将摘要写入磁盘的频率(以秒为单位)。如果save_summaries_steps和save_summaries_secs都设置为None,则不使用默认的摘要保存。默认未启用。
-
config:用于配置会话的tf.ConfigProtoproto的实例。它是tf.Session的构造函数的config参数。
-
stop_grace_period_secs:调用close()后线程停止的秒数。
-
log_step_count_steps:记录全局步/秒的全局步数的频率
一个MonitoredSession() 实例。
下面主要介绍tf.train.MonitoredSession()类
二tf.train.MonitoredSession()类
官方文档给的定义是:
Session-like object that handles initialization, recovery and hooks.
是一个处理初始化,模型恢复,和处理Hooks的类似与Session的类。
Args:
-
session_creator:制定用于创建回话的ChiefSessionCreator
-
hooks:tf.train.SessionRunHook()实例的列表
Returns:
一个MonitoredSession 实例。
Example usage:
saver_hook = CheckpointSaverHook(...)
summary_hook = SummarySaverHook(...)
with MonitoredSession(session_creator=ChiefSessionCreator(...),
hooks=[saver_hook, summary_hook]) as sess:
while not sess.should_stop():
sess.run(train_op)
初始化:在创建一个MonitoredSession时,会按顺序执行以下操作:
- 调用[Hooks]列表中每一个Hook的begin()函数
- 通过scaffold.finalize()完成图graph的定义
- 创建会话
- 用Scaffold提供的初始化操作(op)来初始化模型
- 如果给定checkpoint_dir中存在checkpoint文件,则用checkpoint恢复变量
- 启动队列线程
- 调用hook.after_create_session()
Run:当调用run()函数时,按顺序执行以下操作
- 调用hook.before_run()
- 用合并后的fetches 和feed_dict调用TensorFlow的session.run() (这里是真正调用tf.Session().run(fetches ,feed_dict))
- 调用hook.after_run()
- 返回用户需要的session.run()的结果
- 如果发生了AbortedError或者UnavailableError,则在再次执行run()之前恢复或者重新初始化会话
Exit:当调用close()退出时,按顺序执行下列操作
- 调用hook.end()
- 关闭队列线程queuerunners和会话session
-
在monitored_session的上下文中,抑制由于处理完所有输入抛出的OutOf Range错误。
tf.train.MonitoredTrainingSession()中的tf.train.SessRunHook()介绍与使用请看我的另一篇博客:
才疏学浅,如有错误欢迎留言指出!