tensorflow2.0 分布式训练 SystemError: PyEval_EvalFrameEx returned a result with an error set

## 使用tensorflow 2.0  分布式训练模型时,使用tf.distribute.MirroredStrategy,有时候会出现:

SystemError: PyEval_EvalFrameEx returned a result with an error set

出现这种错误,有可能的原因是:

data_decoder = self.tokenizer.texts_to_sequences(de_seq_list)
data_decoder = tf.keras.preprocessing.sequence.pad_sequences(data_decoder, padding='post')
data_gen = tf.data.Dataset.from_tensor_slices((data_encoder, data_decoder))
data_gen = data_gen.shuffle(2019).batch(batch_size)

如上,在读取数据的时候,忘记了增加如下参数:

data_gen = data_gen.shuffle(2019).batch(batch_size, drop_remainder=True)

一定要增加drop_remainder=True,这个参数的意思是说不够一个batch的时候就舍去,比如batch size是4,最后还有3个样本,如果设置为True,就会省去后面三个,因为当你是4张卡的时候,这个参数默认是False,那么就会报上面的错误,因为3个样本不够分给4张卡。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值