二、TF2 常见问题解决

1、模型训练中图残留，导致训练每次训练都会有图数据占用内存，导致内存溢出,程序中断。

问题解决方案：
该问题出现是由于每次的图数据残留占用内存，所以可以每个epoch后，清理一次session和图数据。
1）源代码：

model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
           batch_size=batch_size,
           epochs=100,
           validation_split=0.3)

2)更改后代码：

import gc
import tensorflow as tf
epochs = 100
for  i in range(epochs):
	model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
           batch_size=batch_size,
           epochs=1,
           validation_split=0.3)
    model.save('models.h5')
    gc.collect()
    tf.keras.backend.clear_session()
    tf.compat.v1.reset_default_graph()
    

注：
1）特别鸣谢‘朱尧枫’同志的指导。

2、解决module ‘tensorflow_core.python.keras.api._v2.keras.activations‘ has no attribute ‘swish’

在使用from transformers import BertModel的时候，有该报错。
解决：在报错的文件位置，将swish注释。如下图：

3、module ‘tensorflow_core._api.v2.random’ has no attribute ‘Generator’

问题解决方案:
这是因为tensorflow版本和tensorflow-addons-0.9.1的版本要保持一致。如下图安装即可：
参考链接：tensorflow/addons