Tensorflow编程问题-Loss Nan

1、在分类问题中，我们经常使用到交叉熵损失函数，需要注意的是：由于交叉熵损失函数里有对数计算，因此对数的真数部分不能为0，所以我们在计算计算交叉熵时需要给这个真数部分限定一个范围，否则会出现数值下溢的问题，我们可以采取的办法是使用tf.clip_by_value(input,min_value,max_value)函数来限定真数的下限；

2、另一种情况是在训练开始时后出现损失函数值为nan，这种情况一般是由于学习率太大，我们需要减小学习率；或者是在训练一段时间后出现nan，这种情况可能是由于梯度爆炸导致的，一种典型的情况是在训练RNN的过程中会出现梯度爆炸，我们可以对梯度进行裁剪，将梯度的最大值限定在某个常数；

3、还有一种在计算一个批次的损失时使用了tf.reduce_mean()这个函数，在将tensor丢进这个函数之前，tensor是根据一个索引筛选过的，当一个批次中无符合条件的tensor，计算时出现Nan，此时将reduce_mean函数更换为reduce_sum函数即可