tf.estimator.train_and_evaluate 详解

TensorFlow 版本：1.11.0

在 TensorFlow 1.4 版本中，Google 新引入了一个新 API：tf.estimator.train_and_evaluate。提出这个 API 的目的是：代替 tf.contrib.learn.Experiment。

1. tf.estimator.train_and_evaluate 简介

train_and_evaluate API 用来 train 然后 evaluate 一个 Estimator。调用方式如下：

tf.estimator.train_and_evaluate(
    estimator,
    train_spec,
    eval_spec
)

这个函数除了 train 和 evaluate 之外，还可选的提供了模型的导出功能，这样就可以把一个训练好的模型直接转交给业务部门来使用了，可以算是“产学研”一条龙服务了。

该函数的参数有三个：

• estimator：一个 Estimator 实例。
• train_spec：一个 TrainSpec 实例。用来配置训练过程。
• eval_spec：一个 EvalSpec 实例。用来配置评估过程、（可选）模型的导出。

该函数的返回值有一个：

• Estimator.evaluate 的结果 及 前面指定的 ExportStrategy 的输出结果。当前，尚未定义分布式训练模式的返回值。

实际上，如果直接使用 Estimator API，完成 train 和 evaluate 已经是很简单的任务了，为什么我们还要使用 train_and_evaluate 这个函数呢？按官方文档的说法：这个函数可以保证 本地 和 分布式 环境下行为的一致性。也就是说，使用 Estimator 和 train_and_evaluate 编写的程序同时支持本地、集群上的训练，而不需要修改任何代码。可以想像一下，在完成了本地 CPU 训练的测试之后，直接 push 到 Cloud ML Engine 上，分分钟完成一个模型的训练，甚至还可以直接使用 TPU 集群（只要你保证模型里的 op 都是对 TPU 兼容的），多么方便的一个工具啊！

这个函数默认的分布式策略是：parameter server-based between-graph replication。对于其它的分布式策略的使用，可以参照 DistributionStrategies 。TensorFlow 关于分布式的官方文档见 Distributed TensorFlow。

当然，方便的背后一般都有代价。为了保证代码在本地和集群上都可以正常终止，所以只能使用 Estimator 的 max_steps 参数设定终止条件。所以，如果想使用别的方式终止训练，可能就需要一些“技巧”了。

2. 参数说明

上面我们已经知道 train_and_evaluate 有三个参数，第一个先放在一边，因为这个参数就是一个 Estimator 的实例。我们先来看一下另外两个参数：

2.1 train_spec 参数

train_spec 参数接收一个 tf.estimator.TrainSpec 实例。

# TrainSpec的参数
__new__(
    cls, # 这个参数不用指定，忽略即可。
    input_fn,
    max_steps=None,
    hooks=None
)

其中：

• input_fn： 参数用来指定数据输入。
• max_steps： 参数用来指定训练的最大步数，这是训练的唯一终止条件。
• hooks： 参数用来挂一些 tf.train.SessionRunHook，用来在 session 运行的时候做一些额外的操作，比如记录一些 TensorBoard 日志什么的。

2.2 eval_spec 参数

eval_spec 参数接收一个 tf.estimator.EvalSpec 实例。相比 TrainSpec，EvalSpec 的参数多很多。因为 EvalSpec 不仅可以指定评估过程，还可以指定导出模型的功能（可选）。

__new__(
    cls, # 这个参数不用指定，忽略即可。
    input_fn,
    steps=100, # 评估的迭代步数，如果为None，则在整个数据集上评估。
    name=None,
    hooks=None,
    exporters=None,
    sta