熵与交叉熵

1.熵的直观解释

如果熵比较大，意味着这一信息有较多的可能状态，相应的每个状态的可能性比较低；因此每当来了一个新的信息，我们很难对其作出准确预测，即有着比较大的混乱程度/不确定性/不可预测性。并且当一个罕见的信息到达时，比一个常见的信息有着更多的信息量，因为它排除了别的很多的可能性，告诉了我们一个确切的信息。在天气的例子中，Rainy发生的概率为12.5%，当接收到该信息时，我们减少了87.5%的不确定性(Fine,Cloudy,Snow)；如果接收到Fine(50%)的消息，我们只减少了50%的不确定性。

已知一个离散变量 i 的概率分布P(i)，熵的公式可以表示为：

下面用一些示例来清晰表达

a = torch.full([4], 0.25)
entropy = -(a * torch.log2(a)).sum()
print(entropy)
a = torch.tensor([0.1, 0.1, 0.1, 0.7])
entropy = -(a * torch.log2(a)).sum()
print(entropy)
a = torch.tensor([0.001, 0.001, 0.001, 0.997])
entropy = -(a * torch.log2(a)).sum()
print(entropy)

由结果可以看出，熵越大，代表了不确定性越大，比如第一个示例，4个变量的概率都是1/4，就不确定究竟会取到哪一个。最后一个示例中，每个变量概率相差很大，最后一个变量概率达到了0.997，就能够非常确定取到该变量。

2.交叉熵

交叉熵使用H(P,Q)表示，意味着使用P计算期望，使用Q计算编码长度；所以H(P,Q)并不一定等于H(Q,P)，除了在P=Q的情况下，H(P,Q) = H(Q,P) 。有一点很微妙但很重要：对于期望，我们使用真实概率分布P来计算；对于编码长度，我们使用假设的概率分布Q来计算，因为它是预估用于编码信息的。因为熵是理论上的平均最小编码长度，所以交叉熵只可能大于等于熵。换句话说，如果我们的估计是完美的，即Q=P，那么有H(P,Q) = H( P)，否则，H(P,Q) > H( P)。

交叉熵的公式如下图所示：

下面用一些示例来清晰表达

from torch.nn import functional as F
x = torch.randn(1, 4)
w = torch.randn(3, 4)
logits = x@w.t()
pred = F.softmax(logits, dim=1)
pred_log = torch.log(pred)  # ln(pred)
print(pred_log)  # 此处的pred_log指的是logq（x）
print(F.nll_loss(pred_log,torch.tensor([2])))  # p(x)是[0,0,1]
print(F.cross_entropy(logits, torch.tensor([2])))

如果使用F.cross_entropy函数，第一个参数不需要经过softmax和log函数。
如果使用F.nll_loss函数，第一个参数需要经过softmax和log函数。