熵的概述

信息熵的内涵与外延
黄天常*
(陇东学院教育技术系,甘肃庆阳745000)
摘　要:通过对热力学熵与信息熵的表述,阐明了各自的内涵与二者的联系。信息熵在其它领域的
应用,则表明它不仅仅限于信息论这个领域,而是有着更宽的外延。
关键词:熵;信息熵;应用
中图分类号:G201　文献标识码:A　文章编号:019-1127(2006)01-0015-04
Information Entropy Used at Connotative and Denotative Levels
HUANG Tian-chang
( Department of Educational Technology, Longdong University, Qingyang745000, Gansu, China)
Abstract:This paper clarifies the respective connotations of thermo dynamics entropy and infor-
mation entropy as well as their relations with each other. The fact that information entropy has
been used in other fields suggests that it is not limited only in information theory. Instead, it has
a broader denotation.
Key words:entropy; information entropy; application
　　熵这个概念产生于热力学领域,是科学研究
者对气体从宏观、微观角度得出的研究结论。著
名的热力学第一定律、第二定律,可以用一句话
来表述:“宇宙的能量总和是个常数,总的熵是不
断增加的。”[1]熵与物质、能量一样,都是重要的概
念。信息熵产生于信息论领域,是信息理论中基
本、重要的概念。信息熵与热力学熵既有联系,
又有差别。
1　熵
熵(entropy)是热力学的一个重要概念。
1854年,法国物理学家K.Clausius(克劳修斯)提
出了熵这个名称。1865年,他把热力学可逆过程
中的dQT这一状态参量称为Entropie,并且说明它
的希腊原名是Entropy,它的词义是转变,指热量
转变为功的本领。[2]在经典热力学中,物理系统熵
的变化,用积分形式表示为:
S2-S1=∫21可逆dQT
其中T为温度,Q为热量。熵的单位是J.
K-1。
热力学熵(也称克劳修斯熵)是对气体从宏
观方面研究得出的结论,它是系统紊乱程度的测
度。后来,科学家又用统计物理的方法,从微观
的角度得出了熵的研究结果。1872年,玻尔兹曼
(Lvdwig Boltzmann)在研究气体分子运动过程中
对熵首先提出了微观解释:熵与logW(logW即
logeW)之间存在正比关系。它的这一著名研究
成果,被后人镌刻在玻尔兹曼在维也纳中央墓地
的墓碑上,碑上没有墓志铭,只有一个醒目的公
式:S=klogW(其中log即loge=ln)。[3]普朗克在
《热辐射》的著名讲义中首次用了S=klnw,并称
它为玻尔兹曼关系式。[4]这就是统计物理熵,也称
玻尔兹曼熵。式中K是玻尔兹曼常数,W是系
统宏观状态所对应的微观状态数。与克劳修斯
熵一样,玻尔兹曼熵是从微观的角度对系统无序
性的量度。W越大,表明系统可能的微观状态数
就越多,系统就越变化多端,越没有秩序。
熵是entropy的汉译。一种说法是我国胡刚
复先生造出了熵这个字;[5]一种说法是我国物理
学家严济慈在20世纪20年代翻译成熵后,此字
一直沿用至今。[6]总之,熵是我国专家学者对重要
的物理概念entropy的中译,“熵”虽然是造出来
的汉字,但它已包含了具有深刻内涵的物理意义
和规律。
2　信息熵
2.1　信息
信息是信息论中最基本、最重要的概念,它
既抽象又复杂。信息这一概念是在人类社会互
通情报的实践过程中产生的,在现代信息理论形
成之前,信息一直被看作是通信的、消息的同义
词,甚至常被人们认为等同与“消息”、“情报”、“知
识”、“情况”等。的确,信息与它们之间是有着密
切的联系。但是,到了20世纪40年代末,随着信
息论这一学科的诞生,信息的含义便有了新的拓
展,它不再等同与消息、情报、知识等。而是它的
含义更深刻、更确切。
关于信息的科学定义,到目前为止,国内外
已有许多种流行的说法。它们都是科学研究者
从不同的角度,不同的侧面和不同的层次对信息
本质的揭示。
最早对信息进行科学定义的是哈特莱(R.
V.L.Hartley)。他在1928年发表的《信息传输》
一文中,首先提出了“信息”这一概念。并认为,
信息就是发信者在通信符号表中选择符号的方
式。1948年,控制论的创始人之一,美国科学家
维纳(N.Winer)在他的《控制论———动物和机器
中通信与控制问题》一书中指出:“信息是信息,
不是物质,也不是能量。”指出信息不是其它什么
东西的替代物,而是信息自己。它是与“物质”、
“能量”同等重要的基本概念。维纳在《人有人的
用处》一书中还指出:“信息是人们适应外部世界
并且使这种适应反作用于外部世界的过程中,同
外部世界进行互相交换的内容的名称。”[7]
我国南京大学秦允豪教授在其编著的《热
学》中,指出“信息使人类认识世界、改造世界的
知识源泉。人类社会发展的速度,在一定程度上
取决于人类对信息利用的水平。信息、物质和能
量被称为构成系统的三大要素。”[8]
1948年,信息论的创始人C.E.Shannon(香
农)在他的信息论奠基性论文《通信的数学理论》
中,给信息下了这样的定义:信息是事物运动状
态或存在方式的不确定性的描述。[9]目前对信息
概念普遍认同的就是香农的这个定义。
2.2　信息量
信息需要以语言文字、数学公式、图表符号
等作为载体来表达。因此,对采用不同载体所表
达信息的数量进行比较是很困难的。但是,信息
的获得是与事物状态(或情况)的不确定性相联
系的。某一事物状态的不确定性的大小,与该事
物可能出现的不同状态数目以及各状态出现的
概率大小有关。获得信息后,不确定性就可以减
少或消除。既然不确定性的大小能够度量,可
见,信息是可以测度的。如果有一事件可能有
a1, a2,…aN种结果,每一结果出现的概率为P(ai),
或简写为Pi,香农从概率的角度考虑,把这类事
件的信息量定义为:
I=-Σ
N
i=1
PilogPi
对于等概率事件
P1=P2=…=PN=1N
则有
I=-[1
Nlog1N+1Nlog1N+…+1Nlog1N]
=-log1N=logN
若知道事件ai已经发生,该事件的信息量可称为
自信息,它的单位取决于对数所选取的底。最常
用的底是2。如果以2为底,I的单位为比特(bit,
binary unit的缩写);如果以e为底,I的单位为奈
特(nat, natrue unit的缩写);如果以10为底,I的
单位为哈特(hart, hartley的缩写)。根据对数换
底关系可算出:1奈特=1.44比特,1哈特=3.32
比特。信息量单位中的比特,与计算机术语中的
“比特”的含义有所不同,计算机中的比特代表二
元数字(binary digits)。二者的关系是每个二元
数字所能提供的最大平均信息量为1比特。
在得到信息量后,等概率事件的不确定度从
始态的状态数目N0变为终态的状态数目N,则得
到的信息量是:
△I=I-I′=log2N0N=log2N0-log2N
2.3　信息熵
信息熵是从平均意义上来表征信源总体信
息的测度,是随机变量不确定性的量度,是信源
的平均不确定的描述。
信号ai是一个随机量,ai出现的信息量I(ai)
是ai的函数,因而I(ai)也是一个随机量。I(ai)常
称为ai的自信息,它具有随机变量的性质。自信
息不能作为信源总体的信息量。如果问具有一
定概率分布的某一信源中每个信号的平均信息
量有多大,信息论中定义自信息的数学期望为信
源的平均自信息量。即:
H(X)=E(I(ai))=Σ
i
P(ai)log1Pi
=-Σ
i
PilogPi
H(X)称为信源的信息熵,或简称信息熵,也有将
其称为香农熵,其中X指随机变量的整体。当信
号是等概率出现时,信息熵为:
H(X)=I=logN=log1P
信息熵的单位由自信息或信息量的单位来确定。
信源的信息熵H是从整个信源的统计特性来考
虑的,它是从平均意义上来表征信源的总体信息
测度的,即表征信源的平均不确定程度。I就是
解除这不确定性的信息量,也就是获得这样大的
信息量后,信源的不确定度就被解除。因此,当
确切无误地收到一个信源符号后,就全部解除了
这个符号的不确定度,获得了相应的信息量。信
息熵H与信息量I在数值上是相等的,但含义不
同。对某一信源来说,无论它是否输出信号,只
要这些信号具有某些概率特性,就必然有信源的
信息熵H值。这H值是在总体平均上才有意
义,因而是一个确定值。而另一方面,信息量只
有当信源输出符号而且接收者收到后才有意义,
这就是给予接收者的信息度量,这个值本身也可
以是随机量。
信息熵具有以下三种物理含义:(1)信息熵
H(X)是表示信源输出后,每个符号(或消息)所
提供的平均信息量。(2)信息熵H(X)是表示信
源输出前,信源的平均不确定性。(3)用信息熵
H(X)来表征变量X的随机性。
信息熵具有以下几种基本性质:(1)对称性。
(2)确定性。(3)非负性。(4)扩展性。(5)可加
性。(6)强可加性。(7)递增性。(8)极值性。(9)
上凸性。
2.4　信息熵与热力学熵的关系
若把系统分子的相空间作为系统客观状态
的状态空间,则按分子在相空间中的分布而求得
的信息熵H与其热力学熵S有如下的关系:[10]S
=kH (K为玻尔兹曼常数)。因此,可以认为
热力学熵是信息熵的一个特例,它仅仅是分子在
相空间所处位置的不确定性的量度。
3　信息熵的拓展应用
信息熵是信息论中的重要概念,在信息论中
有着非常重要的应用。随着信息理论的不断发
展,信息熵在保持它基本性质和含义的基础上,
它的内涵和应用范围在不断地拓展,在许多科学
研究领域都得到了新的应用。信息熵在光学领
域,在统计学的谱估计中,在生命科学领域,在医
学领域中都有着广泛的应用。
信息熵是系统紊乱程度的测度。对一个具
体的系统来说,如果这个系统随机性很大、非常
混乱、毫无秩序,则此系统的信息熵就一定很大。
反之,如果一个系统是确定的、具有一定的规则、
服从一定的秩序,则此系统的信息熵就一定小。
因此,可以把信息熵引伸应用到对事物集合中一
些相互对立性质的量度,判断事物集合中的有序
　　　　　　　　　　　　　　　　　　　　　陇东学院学报(自然科学版)　　　　　　　　　　　　　　　　第16卷
与无序、确定性与随机性、组织性与散漫性、规则
性与杂乱性、简并性与多样性,并对其相互对立
的概念进行量度。
在医学研究中,可以根据对生命机体中某一
部分系统状态的信息熵的量度,判断出它是否正
常或健康。对一个具体的生命体来说,可以把它
看作是由互相联系、互相作用的各个部分组成的
复杂系统。相互联系的各个部分又都以一定的
有序性和固定性处于一定的稳定状态,从而使整
个生命体保持稳定。这些相互联系的各个部分
都可以看作是一个个系统,相应地有一个表征各
个部分有序性和固定性的信息熵值。信息熵值
的变化,就表明了各个部分有序性和固定性发生
了变化,也就表明了该部分组织是健康,出现异
常现象,发生病变。信息熵的增加,表示系统的
无序性在增大,该部分组织趋向恶化;信息熵的
减少,则表明有所好转。例如,通过统计人体中
水的分布情况,就可根据大多数健康人的统计数
据,得出相应的信息熵值。与健康人相比,有心
脏病的病人,信息熵增加了,而有浮肿的心脏病
人,信息熵值增加的更大。
4　信息理论在教育中的应用
信息理论中信息、信息量、信息熵这些基本、
重要的概念,在教育领域也得到了广泛地应用。
成为提高教育质量的新的理论依据,是教育理论
体系中新的组成部分。
教育过程可以看作是信源发送知识,通过信
道传播,到达接收者信宿,即受教育者。如果把
这个过程看作是一个系统的话,这与信息论中通
信系统的框架图“信源—信道—信宿”是类似的。
这个系统的信息熵就是平均意义上表征信源的
总体测度,即表征信源的平均不确定度。信宿得
到的信息量就是解除这种不确定度的。当确切
无误地收到信源的知识后,就全部解除了这个知
识点的不确定度,获得了相应的知识,也就是获
得了相应的信息量。当然,教育过程远比这要复
杂得多,因为人还有思维、意识、已有知识的多寡
不同等。但按照这个理论的基本观点,在教育过
程中应做到以下几点。
4.1　选择信息类型。对在教育过程中可能出现
的语言、符号、模型、声音、图像以及它们的混合
进行选择,使受教育者得到确切的信息量,获得
应掌握、理解的知识。
4.2　提高形式强度。就是提高信息的物质方面
的特征与背景物质特征的差别程度。如教师在
板书时,把重要内容用彩色粉笔写出来;在投影
时加字幕或声音等。
4.3　减少干扰信息。减少与所要表达、传递内
容无关的信息。
4.4　控制冗余信息。冗余信息在表达有用信息
的同时,又显多余性。所以,要进行必要的控制。
4.5　控制信息量。在保证必须传递的教育内
容、信息的前提下,使受教育者加工的信息量变
小,使学习变得容易,从而提高学习效率。
5　结束语
信息熵是立足于概率、抽样、通信这些非确
定性概念引出来的概念,是香农从概率角度定义
的一个在信息论中称为基本和重要的概念。热
力学熵从广义的角度讲是系统紊乱程度的测度,
信息熵也可理解为是紊乱程度的测度,它既可以
作为信息论中信息量的度量,又可以用来表征物
理系统运动状态的不确定性或无序性,广泛地应
用于其它学科领域。因此,信息熵的外延要比热
力学熵宽广的多。随着科学研究的不断深入和
发展,信息熵在其它领域的应用与研究,也将会
得到更进一步的发展。
参考文献:
[1](美)杰里米·里夫金、特德·霍华德著,吕明、袁舟译.
熵:一种新的世界观[M].上海译文出版社,1987.28.
[2][4][8]秦允豪.热学[M].北京:高等教育出版社,1999.
9(20000重印),230-231,243.
[3][5]赵凯华、罗蔚茵.热学[M].北京:高等教育出版社,
1988(1999重印),121,193.
[6][7][9]傅祖芸.信息论—基础理论与应用[M].北京:电
子工业出版社,2001.8,397,1-6·
[10]朱雪龙.应用信息论基础[M].北京:清华大学出版
社,2000.17.