信息与熵-读书笔记1

what is information?

change in entropy.

熵：

Entropy is information we don't know.

翻译成中文就是：

熵是我们不知道的信息。我们尚未掌握的信息。

 

when you find something out about a system， get information， reduce entropy。

当我们获取某个系统的相关信息时，活得信息是一个熵减的过程。

 

when you get the information about a system, you reduce its entropy.

获取系统信息的同时，系统的熵也减少了。

And you reduce its entropy by exactly the amount of information you've obatined.

而它的熵的减少量相当于你获取的信息量。

 

一个实例：

how many bits of entropy are in whether the question of whether that coin is heads or tails?

要用多少位熵才能决定硬币是正还是反？

只需要一位的熵。

场景：我将一枚硬币抛在平面上，然后我看了一眼，知道了是正还是反，但是我不告诉你结果。

那么它的熵是多少？我所获取的的未知信息是多少？

是0.

 

就我而言，熵产生了多少变化呢？

one bit。

那么我获得了多少信息？

one bit。

对我而言，硬币的熵减少了一位。但是对你们来说，熵是多少？

对你们来说，熵是1位。

所以对我而言，那是一位的信息，因为我知道答案。

对你们来说，那是一位的熵。

总得来说，熵是你没掌握的信息，信息是你已经掌握的信息。

 

如果大家（假设共15人）都知道了这个结果，这种情况下并不是说硬币的熵有15位，其实还是1位。

只是我把这一位分享给大家了，大家都知道了，这个时候互信息确实是15位，不过硬币的信息只有1位。