交叉熵

交叉熵

交叉熵常用于分类模型的损失函数。
熵的概念原本来自于热力学。1948 年，Claude Shannon 将热力学中熵的概念引入到信息论中，用来衡量信息的不确定度。熵在信 息学科中也叫信息熵，或者香农熵。熵越大，代表不确定性越大，信息量也就越大。某个分布𝑃(𝑖)的熵定义为
$$H(p)=-\sum p_i\log p_i$$

最终导出，交叉熵 H 等于 P的熵值与P、Q的KL散度相加。
KL散度是用于衡量两个分布之间距离的指标，
p=q时 DKL(p||q)取最小值0
p和q差别越大，p和q的KL散度也相应越大
注意 交叉熵和KL散度都不是对称的。H(p||q)!=H(q||p)
因为我们做的是分类任务，对于one-hot编码的y
特别地：
H§ = 0
则 原交叉熵方程 等价于 求p q 的 KL散度

此时最小化 交叉熵 等价于 最小化 KL散度 等价于 最大化 log(qj)
其中 qj为 预测值在正确值上的概率。