Tensorflow 交叉熵（Cross Entropy）详解

TensorFlow针对分类问题，实现了四个交叉熵函数，分别是
tf.nn.sigmoid_cross_entropy_with_logits
tf.nn.softmax_cross_entropy_with_logits
tf.nn.sparse_softmax_cross_entropy_with_logits
tf.nn.weighted_cross_entropy_with_logits

1. 数学基础
   1）e ，自然对数ln的底数，是个无理数，e=2.71828…
   2）f(x)=e^x的函数如下：
   
   3）Sigmoid函数由下列公式定义 函数如下：
   
   
   其对x的导数可以用自身表示:
   
   4）均方误差(MSE, mean squared error)
   均方误差(MSE, mean squared error)，具体公式为
   
   tf.losses.mean_squared_error()
   tf.losses.mean_squared_error()就是直接计算mse值了。

   a = tf.constant([[4.0, 4.0, 4.0], [3.0, 3.0, 3.0], [1.0, 1.0, 1.0]])
   b = tf.constant([[1.0, 1.0, 1.0], [1.0, 1.0, 1.0], [2.0, 2.0, 2.0]])
   mse2 = tf.losses.mean_squared_