batch_norm_params = {
# Decay for the moving averages.
'decay': 0.995,
# epsilon to prevent 0s in variance.
'epsilon': 0.001,
# force in-place updates of mean and variance estimates
'updates_collections': None,
# Moving averages ends up in the trainable variables collection
#'variables_collections': [ tf.GraphKeys.TRAINABLE_VARIABLES ],
}
报错分析:(只做大致分析,具体细节有待商榷)
由于错误设置了#'variables_collections': [ tf.GraphKeys.TRAINABLE_VARIABLES ]
,导致将 moving_mean moving_variance 加入了TRAINABLE_VARIABLES 集合,这样一来训练时会将它们当作可训练的参数,会分配一些优化相关的计算图节点。
但是实际上这两个变量并不需要进行优化(只执行moving average),反向传播不到这里。那些分配的优化相关节点是无效的。故而不会保存仅ckpt文件中。
当eval时,重新构造计算图,个人猜测在对计算图进行优化之前就先得从ckpt文件中restore相关的优化变量,但是肯定找不到的。
以上,纯属个人猜想。具体细节有待深入研究。 去除#'variables_collections': [ tf.GraphKeys.TRAINABLE_VARIABLES ],
就可以在eval时正常恢复模型参数。