https://ms.mbd.baidu.com/r/LmZNTqB2eY?f=cp&u=1d1b01c5dffc13e5
《坤鹏论:信息熵越大,信息量到底是越多还是越少?》
1.概率与信息熵
第一,概率,概率是信息熵的核心,偏偏大多数人不懂、不理解概率。
第二,…
第三,概率和信息熵是反比关系,概率越高,信息熵越低;概率越低,信息熵越高,理解它需要在脑子里面先转个弯。
2.信息论中的信息熵(信息量)
到底是信息熵越大,信息量越多?还是信息熵越大,信息量越少?
很多人很难理解的是——信息熵越大,信息量越多。
香农说,“我考虑的是,从一个集合中作出选择时会有多少信息产生……”
谁作出选择?
正如前面文章所说,信息论的信息集合中的接收者与热力学容器中的麦克斯韦妖一样,都是通过信息做出选择。
因此,信息、信息熵、信息量,都是针对接收者而言的。
这个接收者是一个客观存在物——只计字数,不问内容,是物理意义的。
并且它也像麦克斯韦妖一样,作出选择后,旧的记忆会被清除。
因此