[Tensorflow] sparse_softmax_cross_entropy_with_logits的NaN问题

这是今天遇到的一个Tensorflow问题，使用sparse_softmax_cross_entropy_with_logits始终返回NaN。 查阅了Google后在github上找到了答案。
先说一下我的程序吧。

n_classes= 5

x = tf.placeholder(tf.float32, [None, 20])
y_ = tf.placeholder(tf.int64, [None])

w = tf.Variable(tf.random_uniform([20,n_classes]),name="w")
b = tf.Variable(tf.zeros([n_classes]),name="b")
y = tf.matmul(x, w) + b

cross_entropy =  tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=y_,name="cross_entropy"))

with tf.Session() as sess:      
    sess.run(init)
    loss = sess.run([cross_entropy], feed_dict={x: input_data, y_: train_label})
    print("Loss:", loss）

这段代码看起来没有问题，但输出始终是NaN，一度让我百思不得其解。后来发现导致这个问题有两个原因：

1. 我的y_标签是值在1,2,3,4,5这五个数字之一，但是按照sparse_softmax_cross_entropy_with_logits的要求如有5个分类，则标签值必须在[0,5)之间，不可以取到5。正因为我用了5这个标签，导致了NaN。
2. 如果在CPU模式下，这个问题是会报错的。但因为我开启了GPU，则就不会报错而是直接返回NaN。你可以尝试关闭GPU，查看是否有报错。关闭GPU的命令是，且必须在import tensorflow之前执行。

import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1"

修正代码的方案很简单，将参数改成label=y_-1即可。

tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y,labels=y_-1,name="cross_entropy"))

GitHub上的原文如下：
https://github.com/tensorflow/tensorflow/issues/8484