《数学之美（第一版）》笔记 —— 第6章

第6章 信息的度量和作用

信息熵（Entropy）

• 背景：

  • 信息量等于不确定性的多少
  • 可以用bit这个概念来衡量信息量（所以加上了log函数）

• 信息熵公式：
  其中$P(x)$是x发生的可能性。变量的不确定性越大，熵也就越大。

  • 信息熵的取值范围是：$[0,lo{g}_2(n)]$ ，其中n代表分类的数目。其推导过程可以参考：https://blog.csdn.net/sinat_26811377/article/details/101992352 （非常简洁易懂，建议阅读）

• 信息熵的作用：

  • 衡量信息量（不确定性）
  • 几 乎 所 有 的 自 然 语 言 处 理 、 信息 与 信 号 处 理 的