tensorflow bug记录1之Resource AnonymousIterator/AnonymousIterator1/N10tensorflow4data16IteratorResource

tensorflow bug记录1之Resource AnonymousIterator/AnonymousIterator1/N10tensorflow4data16IteratorResource

代码情况描述

在安装好的tensorflow-gpu2.0环境中运行：

model.fit(train_data, validation_data = valid_data, steps_per_epoch = ...,  epochs = ..., validation_steps = ..., callbacks = [...])

其中train_data和validation_data都来自于python generator，并通过tf.data.Dataset.from_generator将数据转为Dataset类型。

bug描述

训练过程中正常，一到验证过程就产生以下报错：
Not found: Resource AnonymousIterator/AnonymousIterator1/N10tensorflow4data16IteratorResourceE does not exist.
Op:__inference_distributed_function_70098
Function call stack: distributed_function -> distributed_function

bug解决过程

1. 将validation_data和validation_steps注释掉，运行正常不报错；
2. 将valid_data当作训练数据输入，不加validation_data、不进行验证过程，不报错；
3. 将validation_data更换为验证集数据(x, y)组成的tuple输入，依然报错；
4. 将数据写为tfrecords文件，直接读入为tf.data.Dataset数据类型，再使用model.fit，加上验证过程，依然报错。
   由以上过程可知，问题来源于验证过程，但是上述实验证实了作为validation_data输入的数据没有问题，却报出上述这种奇怪的错误，基本可以认定为函数或者环境出了什么错误。最终选择重新安装Anaconda虚拟环境，之前的是tensorflow-gpu2.0的版本，这次直接安装最新版本tensorflow-gpu2.3，后者肯定在前者的基础上纠正了一些错误。安装完环境后运行原始代码，不再报错。

总结

虽然还是没搞清楚为什么会报这种奇怪的错误，但是还是解决了这一问题，有时候重新安装环境不失为一种快捷有效的办法。