利用TF2.5 Keras训练ResNet50出现loss为NaN

问题描述：

利用TF2.5 Keras训练ResNet50，在第一个epoch就出现loss为NaN，把数据量变为80分之一后没有这样的情况。

问题现象：

1. 小数据集就很好，大数据集就不行

2.  之前verbose设置为2，一个epoch打印一次loss，acc，结果第一个epoch就NaN了。在同学的提醒下将verbose设置为1，每个batchsize都可以看到loss，acc。结果发现每次都在第一个epoch的三分之二处，loss变为NaN。按照keras训练模型遇到loss:nan 解决办法_keras loss nan_shuzip的博客-CSDN博客方法也没用。在文件夹C:\anaconda3\envs\YourEnv\Lib\site-packages\tensorflow\python\keras下修改losses.py文件也没用。

尝试过程：

1.在网上查找主要有以下原因：

1. 学习率过大
2. 标签不正确
3. 训练集未归一化
4. 训练集本身有NaN
5. Batch Size太小
6. 其他原因

2.逐个排除

1. 学习率排查：0.1 0.01 0.001 0.00001都不行
2. 标签排查：debug训练前查看标签，均正确
3. 训练集归一化：预处理已归一化
4. 训练集本身有NaN：回想起预处理有除法，不能保证分母不为0，训练集可能本身有NaN，结果问题就出在这。另外注意，log(0)也会为NaN
5. Batch Size太小：64 128 256均没用