【基础知识】熵、交叉熵、相对熵(KL散度) 是什么以及它们之间的区别

1. 什么是熵，什么是交叉熵，区别是什么？

熵（Entropy）和交叉熵（Cross-Entropy）是信息论中的两个基本概念，它们在机器学习、深度学习等领域有着广泛的应用。

熵 (Entropy)

熵是用来衡量一组数据中的不确定性或信息量的指标。对于一个随机变量$X$，其熵$H(X)$可以通过下面的公式计算：

$$H(X)=-\sum _{i=1}^{n}P(x_i)\log P(x_i)$$

其中，$P(x_i)$是随机变量$X$取值 x i x_i x<