【亲测】神经网络训练时出现loss=nan或loss不变的解决办法

       今天用最原始的tensorfow.nn.conv2d构建一个三层CNN网络并基于MNIST数据集训练的时候出现了loss=nan的情况，折腾了一晚上，摸索出几个的解决方案。

       1.在loss函数某个位置添加了1e-10：

cross_entropy = tf.reduce_mean(-tf.reduce_sum(output * tf.log(prediction+1e-10), reduction_indices=[1]))

       2.更换优化器

       3.（最终解决办法）对tf.nn.conv2d后的输出进行tf.nn.relu的操作，因为老版的tf.nn.conv2d不带激活函数。

       4.  当3行不通的时候用tf.nn.sigmoid。

       5. 调整学习率，一般是调小，小概率是调大。

       6. 检查是否在最后一层全连接加了激活函数，若是，去掉

       7. 多等一会，有的训练器碧如SGD下降慢