一文懂熵Entropy

        本文翻译自https://naokishibuya.medium.com/demystifying-entropy-f2c3221e2550

        我们常常听到【熵增】，【熵减】等概念。那么熵是什么？

        熵这个概念，最初有很多词描述它，如无序、不确定性、意外程度、不可预测、信息量等等，让很多人感到困惑。如果你对熵这个词也感到困惑，那么请继续读下去，本文将为你揭开熵的神秘面纱。

一、熵的由来

        熵最早是由鲁道夫.克劳修斯（Rudolf Clausius）提出，并应用在热力学中。熵的改变等于系统输入的热量相对于温度的改变率。

        在信息传输过程中，一直需要一种高效的、无损的信息编码方法。于是在1948年，克劳德.香农（Claude Shannon）在他的论文《通信的数学理论》中提出了信息熵的概念。并定义熵为：无损编码消息的最小平均编码长度。所以熵有三个约束条件，1）是无损编码，没有原始信息的丢失；2）平均编码长度越小越高效；3）解码端能无损地恢复原始信息。

二、高效和无损的编码

        假设我们要在两个城市Tokyo、New York传递天气信息。如果按如下的方式进行，发送一句话“Today, Tokyo's weather is fine.”。

        在发送方和接收方都明确是发送今天Tokyo天气信息的情况下，上面这句话里的冗余信息“Today”，“Tokyo's”，“Weather is”不需要发送。只需要发送天气的描述“Fine”或者“Not Fine”，就像面对面聊天，双方是知道聊得是什么主体的。

        再进一步，我们用“0”表示“Fine”，“1”表示“N