关于香农熵公式的理解

        做压缩的，对香农熵公式是情有独钟的

（一）结合GPT的解释：

参考这个例子来说，计算的结果也是非常合理的，因为6个结果的概率都相同，那就是利用“二进制”的bit来表示6种结果，所以也就是log2(6)了。

        突然就明白这个公式了，非常直观的理解就是说，“其实-plog2(p)，这个不就是加权求和吗？很简单啊，你想，如果先不看负号，权重就是概率p，这个好理解，重点是里面，按道理来说，一个信息用bit来表示，长度就是log2(信息长)，而概率越大我们认为应该信息越短，所以再外面取个负号就合理了”

（二）结合参考文章的解释：

参考文章1：https://blog.csdn.net/qq_38890412/article/details/106149936

牛！

作者的这种理解很非常妙！不管怎样，费曼老爷的那一套就是让我们能够理解一个东西，然后内化为自己的，再去创新。