TF2 使用TPU Compilation failure: Dynamic dimension propagation on reversed dimension is not supported

最新推荐文章于 2024-06-24 06:26:55 发布

高岭の草

最新推荐文章于 2024-06-24 06:26:55 发布

阅读量462

点赞数 1

分类专栏： tensorflow 文章标签： tensorflow tpu 深度学习

本文链接：https://blog.csdn.net/comet5161/article/details/106353311

版权

在TensorFlow2中使用TPU进行训练时遇到动态维度传播不支持的错误，具体表现为`UnimplementedError`，指出在反转维度上的动态维度传播不被支持。解决方案是检查数据集，发现第一维`batch_size`为None，这意味着在TPU环境中，`tf.data.Dataset.batch()`的`drop_remainder`选项必须设为True，以确保batch_size固定，从而解决TPU编译失败的问题。

摘要由CSDN通过智能技术生成

在tensorflow2下使用TPU训练时

...

tf.pad(inputs, [[0, 0], [10, 10], [10, 10], [0, 0]], mode='reflect') 

...

batch_size = 1 * tpu_strategy.num_replicas_in_sync
data_set = tf.data.Dataset.from_tensor_slices(X_data) # X_data is a numpy Array
data_set.batch(batch_size)

...

model.fit(data_set, epochs=1)

出现以下错误：

UnimplementedError: { {function_node __inference_train_function_18379}} Compilation failure: Dynamic dimension propagation on reversed dimension is not supported %reverse.1029 = f32[<=2,276,276,3]{3,2,1,0} reverse(f32[<=2,276,276,3]{3,2,1,0} %concatenate.1028), dimensions={0}, metadata={op_type="MirrorPad" op_name="style_transfer_net/tf_op_layer_MirrorPad/MirrorPad"}
TPU compilation failed
[[{ {node tpu_compile_succeeded_assert/_9843984394415337403/_4}}]]