信息熵（Entropy）到底是用来衡量什么的

                 

       

信息熵（Entropy）到底是用来衡量什么的？                         ——与Philip ZHANG商榷                         思明                         　　　　             　　Philip ZHANG先生在反驳彭小明的时候，提出一个观点，他说：“ 就语言文             字来说，整体效率不是用民族主义来衡量的，而是用信息熵（Entropy）来衡量             的。”             　　张先生介绍说：             　　计算文字效率的基本公式是：             　　H＝－log2（P）             　　H 为信息熵的值（或叫信息量），单位是比特（bit）。             在这基点上，他根据资料引证：             　　英文的平均信息熵是 4.03 比特，             　　法文的平均信息熵是3.98，             　　西班牙文的是 4.01，             　　德文的是 4.10，             　　俄文的是 4.8，             　　而中文的平均信息熵是 9.65比特             　　于是，“汉字是落后的，无论是简体还是繁体”就成了他轻松得到的结论。             　　其实，要反驳他的结论是一点也不困难的，甚至可以说是非常轻松的——只要             知道什么是一种文字的“平均信息熵”。             　　只可惜，张先生把方向正好弄错了180度。             　　公式是有的，叫做平均信息熵也确实。但是根本就不是文字效率的基本公式，             而是在通讯中编码的码长的效率！提出这公式，申农是用以研究信息编码的。说得             通俗一点，就是要（在可能有噪音的情况