交叉熵(softmax, sigmoid, weighted)_cross_entropy_with_logits和sparse_softmax_cross_entropy_with_logits

1. tf.nn.softmax_cross_entropy_with_logits

该函数计算logits和labels之间的softmax交叉熵（softmax cross entropy, SCE），softmax的含义是将传入的logits进行softmax映射再计算交叉熵，函数定义为：

tf.nn.softmax_cross_entropy_with_logits(
    _sentinel=None, 
    labels=None,      
    logits=None,
    dim=-1,
    name=None
)

我们只解释labels和logits两个参数的含义：
1）labels: 真实数据的分类标签，是一个正数的任意向量比如：$[1,2,3]$
2）logits: 可以是维度与labels相同的任意向量，其中元素为实数（可正可负）

1）对logits进行softmax运算

设$logits=[{\hat{y}}_1,...,{\hat{y}}_n]$, logits通过softmax运算得到的结果为$S=[s_1,...,s_n]$：
$$s_i=\frac{e^{x_i}}{{\sum }_{i=1}^n{e}^{x_i}}$$
假定$logits=[2.0,-1.0,3.0]$ 经过softmax后得到$S=[0.265,0.013,0.721]$

2）计算labels和logits之间的softmax交叉熵

设$labels=[y_1,...,y_n],logits=[{\hat{y}}_1,...,{\hat{y}}_n]$, logits通过softmax运算后结果为$S=[s_1,...,s_n]$，则labels和logits之间的softmax交叉熵为：
$$SCE=-\sum _{i=1}^n{y}_{i}log{s}_i$$

3) 程序实现

labels = [0., 0. ,1.]
logits = [2., -1., 3.]
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits)
print(cross_entropy)  # 输出结果为：tf.Tensor(0.32656264, shape=(), dtype=float32)

当然labels，logits也可以是矩阵形式

labels = [[0.0,0.0,1.0],[1.0,0.0,0.0]]
logits = [[2.0, -1.0, 3.0], [1.0, 0.0, -0.5]]
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(labels=labels, logits=logits)
print(cross_entropy)  # 输出结果为：tf.Tensor([0.32656264 0.4643688 ], shape=(2,), dtype=float32)

2. tf.nn.sparse_softmax_cross_entropy_with_logits

该函数传入的labels参数必须是分类的标签类别，但它会自动转换为one-hot码来计算，而softmax_cross_entropy_with_logits中的labels可以是任意与logits等维度的向量。

labels = [2, 0] # 其one-hot是[[0, 0, 1],[1, 0, 0]]
logits = [[2.0, -1.0, 3.0], [1.0, 0.0, -0.5]]
cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(labels=labels, logits=logits)
print(cross_entropy) # 输出结果为：tf.Tensor([0.32656264 0.4643688 ], shape=(2,), dtype=float32)

3. tf.nn.sigmoid_cross_entropy_with_logits

设置$lables=[y_1,...,y_n],logits=[{\hat{y}}_1,...,{\hat{y}}_n]$，logits通过sigmoid运算后结果为$S=[s_1,...,s_n]$:
$$s_i=\frac{1}{1+e^{{\hat{y}}_i}}$$
然后依次计算labels和S中对应每个元素的sigmoid cross entropy (SigCE)）：
$$SigC{E}_i=-y_{i}log{s}_i-(1-y_i)log(1-s_i)$$

下面通过tf.nn.sigmoid_cross_entropy_with_logits来计算$lables=[0,0,1],logits=[2.0,-1.0,3.0]$之间的sigmoid交叉熵

labels = [0.0,0.0,1.0]
logits = [2.0, -1.0, 3.0]
cross_entropy = tf.nn.sigmoid_cross_entropy_with_logits(labels=labels, logits=logits)
print(cross_entropy) # 输出结果为：tf.Tensor([2.126928   0.31326172 0.04858735], shape=(3,), dtype=float32)