在使用tf.kares进行网络训练时,每次结束一个epoch,内存占用都会增加
第一个eopch占用为16G
第n个epoch占用为29G
训练存在内存泄漏
猜想问题有两个:
1.每次开始一个新的epoch时,重复读取数据
2.每次开始一个新的epoch时,网络模型占用内存没有释放
(keras训练是真的拉)
实际上是因为tf版本不对,在将tf2.1升级为tf2.2后完美解决
在使用tf.kares进行网络训练时,每次结束一个epoch,内存占用都会增加
第一个eopch占用为16G
第n个epoch占用为29G
训练存在内存泄漏
猜想问题有两个:
1.每次开始一个新的epoch时,重复读取数据
2.每次开始一个新的epoch时,网络模型占用内存没有释放
(keras训练是真的拉)
实际上是因为tf版本不对,在将tf2.1升级为tf2.2后完美解决