KL散度&交叉熵&信息熵&不确定性信息度量

0.起源

物理学中的热力学 熵：度量分子在物理空间中的混乱程度；

1.信息熵

信息熵： 度量信息量的多少；
以离散信息为例
离散符号：x₁，x₂，…，x_n；
信息中各符号出现的概率：p₁，p₂，…，p_n；
信息的不确定性函数： f： p—f（p）；
p越大，信息的不确定性越小，因此f是一个 减函数；
假设前提： 各符号的出现是相互独立的（与实际不符）
则：f（p₁，p₂）=f（p₁）+f（p₂），即f具有可加性；

满足 减函数和可加性 的不确定性函数f 定义为：