Tensorflow中的交叉熵（Cross Entropy）

Tensorflow中的交叉熵（Cross Entropy）

Cross Entropy (Sigmoid)

适用于二分类，输入函数的logits和labels应当是一维的。如果输入One-Hot过的logits，会被当做多个一维分别计算。注意不要将已经通过sigmoid计算得到的数值输入函数，那样会得到错误的结果。

$$sigmoid(x)=\hat{x}=\frac{1}{1+e^{-x}}$$
$$loss=-ylog\hat{x}-(1-y)log(1-\hat{x})$$
$$x=[5.0],y=[1],loss=-log\frac{1}{1+e^{-5}}=0.006715$$
$$x=[5.0],y=[0],loss=-log\frac{e^{-5}}{1+e^{-5}}=5.006715$$
$$x=[5.0],y=[-1],loss=log\frac{1}{1+e^{-5}}-2log\frac{e^{-5}}{1+e^{-5}}=10.006715$$

# 3 samples
preds = [5., 5., 5.]
labels = [1., 0., -1.]
loss = tf.nn.sigmoid_cross_entropy_with_logits(logits=preds, labels=labels)

---

Cross Entropy (Softmax)

适用于多分类，softmax_cross_entropy_with_logits_v2接收的logits和labels至少是二维的，sparse_softmax_cross_entropy_with_logits接收的logits至少是二维的，但labels不是One-Hot的，而是类别的下标，例如$[0,0,1,0]$这样的label就是2（从0开始）。注意不要将已经通过softmax计算得到的数值输入函数，那样会得到错误的结果。

$$softmax(x)={\hat{x}}_i=\frac{e^{x_i}}{{\sum }_k{e}^{x_k}}$$
$$loss=-\sum _k{y}_{k}log{\hat{x}}_i$$
$$x=[[-1.0,1.0]],y=[[1,-1]],loss=-log\frac{e^{-1}}{e^{-1}+e^1}+log\frac{e^1}{e^{-1}+e^1}=2$$
$$x=[[-1.0,1.0]],y=[[1,0]],loss=-log\frac{e^{-1}}{e^{-1}+e^1}=2.137$$

# 4 samples
preds = [[10., -10.], [10., -10.], [10., -10.], [10.,-10.]]
labels = [[1., 0.], [1., -1.], [0., 1.], [-1., 1.]]
loss1 = tf.nn.softmax_cross_entropy_with_logits_v2(logits=preds, labels=labels)

labels = np.argmax(labels)
loss1 = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=preds, labels=labels)

---

参考

Tensorflow sparse_softmax_cross_entropy_with_logits
Tensorflow sigmoid_cross_entropy_with_logits
Tensorflow softmax_cross_entropy_with_logits_v2