Philip ZHANG先生在反驳彭小明的时候,提出一个观点,他说:“ 就语言文 字来说,整体效率不是用民族主义来衡量的,而是用信息熵(Entropy)来衡量 的。” 张先生介绍说: 计算文字效率的基本公式是: H=-log2(P) H 为信息熵的值(或叫信息量),单位是比特(bit)。 在这基点上,他根据资料引证: 英文的平均信息熵是 4.03 比特, 法文的平均信息熵是3.98, 西班牙文的是 4.01, 德文的是 4.10, 俄文的是 4.8, 而中文的平均信息熵是 9.65比特 于是,“汉字是落后的,无论是简体还是繁体”就成了他轻松得到的结论。 其实,要反驳他的结论是一点也不困难的,甚至可以说是非常轻松的——只要 知道什么是一种文字的“平均信息熵”。 只可惜,张先生把方向正好弄错了180度。 公式是有的,叫做平均信息熵也确实。但是根本就不是文字效率的基本公式, 而是在通讯中编码的码长的效率!提出这公式,申农是用以研究信息编码的。说得 通俗一点,就是要(在可能有噪音的情况 |
信息熵(Entropy)到底是用来衡量什么的
最新推荐文章于 2023-10-12 20:28:41 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)