TensorFlow出现Found Inf or NaN global norm的排查和解决办法

在训练神经网络的时候，由于一些原因会出现NaN或者Inf，致使训练终止。在查阅相关资料之后，并且结合我出现的问题，做了一些总结。出现的代码在TensorFlow 1.12.2版本可正常执行。

出现问题的原因

出现NaN或者Inf的原因一般可分为以下三种

1. 输入数据有错
2. 出现了运算错误，如除数为零，log0等
3. 梯度爆炸

输入数据有错

训练数据可能包含脏数据，在数据清洗时没有清洗干净，导致错误数据输入进模型。首先可以在输入模型前，使用np.any(np.isnan(data))来判断数据是否由nan。若没有，要考虑到数据的实际约束，如在我查阅资料时，看到有人输入数据包含最大值和最小值，但是错误数据的最大值和最小值反了，导致模型训练出错。这一部分要根据具体情况进行具体排查。

运算错误

检查模型中除法的分母是否为0，如果有0在结合实际情况进行修改。如果损失函数用到交叉熵，或者取log，也要注意0是否出现。如果判断出有0了，可以使用tf.clip_by_value对值进行限制。

梯度爆炸

常见于模型设计不好，或者模型本身的原因。如RNN易发生梯度爆炸，更换为LSTM可解决问题。或者模型采用了较大的学习速率，导致更新网络参数出现问题。

排查建议

最简单最方便的方法，首先调小学习速率，看看是否是由较高学习速率导致的。可以选择将学习速率降低一半， 或者降低一个数量级。在多次尝试之后，若不能解决问题，考虑其他情况。