起因
本来运行好好的程序,改了一点儿特征提取,就在网络开始训练的第一步遇到这个问题,我修改了特征提取中除法和log函数中可能有的0值,全都加上了一个小值,防止出现NAN,还是不行。之前特征提取没有加小值防止NAN也没有出现问题,训练一直很正常。
解决办法
删除checkpoint和save model、tensorboard的保存文件,虽然我修改后的特征shape与原来相同,也不知道怎么回事,反正删除后正常了。
网上看到还有各种可能,我只写我遇到的,以后遇到其他的情况再写吧。
参考来源链接
Nan in summary histogram