‘293 proto_buffer_writer.h:83] assertion failed: byte_count_’
使用TPU加tensorflow时遇到的问题,很少有人提,根据唯一搜到的两篇
https://github.com/tensorflow/tensorflow/issues/24459
https://stackoverflow.com/questions/60129190/tpu-issue-transition-tf-1-3-to-tf-2-1
也就是说超过2 GiB proto-size限制了,但是我很确定每个batch不可能超过。
根据第二个老哥的说法,TensorFlow只能分割 tf.data.Dataset
,原本是np之类的就需要转换成tensorflow dataset format,不然可能直接是一股脑儿丢进去的,那确实会超过。
另外提供一个比较土但是也能work的解决方案:tf自己不会切我们就手动切数据
原:
model_my.fit(train_image_sub[0:2000],train_coordinate_sub