本文探讨了信息熵与信息量的概念，指出信息熵越大，信息量越多。信息熵与概率成反比，是衡量接收者对信息不确定性的程度。信息论中的信息和信息量关注未来可能性，与日常理解的过去时信息不同。香农强调信息的物理性质，不涉及意义，关注通信系统的数据传输和准确性。
https://ms.mbd.baidu.com/r/LmZNTqB2eY?f=cp&u=1d1b01c5dffc13e5
《坤鹏论：信息熵越大，信息量到底是越多还是越少？》
1.概率与信息熵
第一，概率，概率是信息熵的核心，偏偏大多数人不懂、不理解概率。
第二，…
第三，概率和信息熵是反比关系，概率越高，信息熵越低；概率越低，信息熵越高，理解它需要在脑子里面先转个弯。
2.信息论中的信息熵（信息量）
到底是信息熵越大，信息量越多？还是信息熵越大，信息量越少？
很多人很难理解的是——信息熵越大，信息量越多。
香农说，“我考虑的是，从一个集合中作出选择时会有多少信息产生……”
谁作出选择？
正如前面文章所说，信息论的信息集合中的接收者与热力学容器中的麦克斯韦妖一样，都是通过信息做出选择。
因此，信息、信息熵、信息量，都是针对接收者而言的。
这个接收者是一个客观存在物——只计字数，不问内容，是物理意义的。
并且它也像麦克斯韦妖一样，作出选择后，旧的记忆会被清除。
因此
最低0.47元/天 解锁文章
5861
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
