机械学习01：信息熵

原文：https://zhuanlan.zhihu.com/p/55599202

信息的单位

不知道答案是ABDC哪个选项的小明，需要从 4 种等概率情况里确定实际情况，需要的信息为：  ，

•  是被测事件的等概率情况个数，上面的例子中  。
•  是参照事件的等概率情况个数。
• 当选择的参照事件有  种等概率情况（像抛硬币）时，  ，测得的信息量单位被称为比特  。小明需要  信息。
• 当选择的参照事件有  (自然底数，约  ) 种等概率情况时， ，测得的信息量单位被称为纳特  。小明需要  信息。
• 当选择的参照事件有  种等概率情况时， ，测得的信息量单位被称为  。小明需要  信息。

信息是客观物理量？

引用一句话

举例说明

• 视觉信号：小红将“写有 C 的 传纸条”递给小明，提供 2 bits。
• 听觉信号：小红告诉小明“答案是 C”，提供 2 bits。
• 触觉信号：小红“蹬小明椅子 3 次”，提供 2 bits。

之所以称信息是客观物理量是因为它不随信息形式而改变，同一个观察者，对同一件事情接受到的信息与用于传递信息的信号形式无关。