Tensorflow实例：实现经典损失函数

Tensorflow实现经典损失函数

神经网络模型的效果以及优化的目标是通过损失函数（Loss function）来定义的。如何判断一个输出向量和期望的向量有多接近呢？

交叉熵（cross entropy）

交叉熵刻画了两个概率分布之间的距离，它是分类问题中使用比较广的一种损失函数。给定两个概率分布p和q，通过q来表示p的交叉熵为：

$$H(p,q)=-\sum p(x) \log q(x)$$
如何将神经网络前向传播得到的结果也变成概率分布呢？Softmax回归就是一个非常常用的方法。

Softmax回归本身可以作为一个学习算法来优化分类结果，但在Tensorflow中，Softmax回归的参数被去掉了，它只是一层额外的处理层，将神经网络的输出变成一个概率分布。假设原始的神经网络的输出为$y_1,y_2,...,y_n$，那么经过Softmax回归处理之后的输出为：

softma