TensorFlow优化 --- softmax算法与损失函数的综合应用

1.softmax算法
（1）.softmax的定义
      softmax算法的只要应用就是多分类，而且是互斥的，即只能属于其中的一个类。与sigmoid类的激活函数不同的是，一般的激活函数只能分两类，所以可以理解成softmax是Sigmoid类的激活函数的扩展
      softmax伴随的分类标签都为one-hot编码，在softmax时需要将目标分成几类，就在最后这层放几个节点。
（2）.TensorFlow中的softmax

# 计算softmax
tf.nn.softmax(logits, name=None)
# 对softmax求对数
tf.nn.log_softmax(logits, name=None)

2.损失函数
损失函数的作用是用来描述模型预测值与真实值的差距大小。一般有两种常见的算法，均值平方差(MSE)和交叉熵
（1）.均值平方差
      均值平方差在神经网络中表达预测值与真实值之间的差异。在数理统计中，均方误差是指参数估计值与参数真值之差平方的期望值。公式为:
                   MSE=1n∑n<