训练的LOSS一直为0

http://www.cnblogs.com/sddai/p/8526955.html
TensorFlow训练神经网络cost一直为0
问题描述
这几天在用TensorFlow搭建一个神经网络来做一个binary classifier，搭建一个典型的神经网络的基本思路是：

• 定义神经网络的layers(层)以及初始化每一层的参数
• 然后迭代：
  前向传播（Forward propagation）
  计算cost（Compute cost）
  反向传播（Backward propagation）
  更新参数（Update parameters）
• 使用训练好的参数去做预测

在训练的时候发现了一个很奇怪的现象：每一次迭代所有的cost都为0。一开始以为是参数初始化出了问题，花了好多时间在上面。后来仔细研究了一下发现是最后一层的输出函数用错了，我用的是tf.nn.softmax_cross_entropy_with_logits来计算cost。 我们知道softmax一般是用来做multiclass classifier的，也就是输出的类别要大于两个。对于一个binary classifier而言，很明显我们要用sigmoid函数也就是tf.nn.sigmoid_cross_entropy_with_logits来计算cost，于是问题解决。

为什么？
那么为什么在binary classifier中使用了softmax之后cost就一直是0呢？我们先来看一下softmax的公式：

s(z)j=ezj∑Kk=1ezk

• binary classifier的output是一维的（one-dimension 0/1），那么如果只有一个元素，那么s(z)就永远等于1，不管z的值是多少。
• 恒定输出1之后，我们结合交叉熵的计算公式可知：
  如果true label是0，那么 -0log(1) = 0
  如果true label是1，那么 -1log(1) = 0