热力学 第一定律 和&nbs…

热力学第一定律 和第二定律是科学界公认的 宇宙 普遍规律。 能量守恒定律 是说，能量可以由一种形式变为另一种形式，但其总量既不能增加也不会减少，是恒定的。二十世纪初 爱因斯坦 发现能量和质量可以互变后，此定律改为能质守恒定律。这个定律应用到 热力学 上，就是热力学第一定律。这一定律指出物质和能量既不能被消灭也不能被创造，一度曾被无神论当作宇宙永恒的根据。热力学第二定律是描述热量的传递方向的：分子有规则运动的 机械能 可以完全转化为分子无规则运动的热能；热能却不能完全转化为机械能。此定律的一种常用的 表达方式 是，每一个自发的物理或化学过程总是向著熵（entropy）增高的方向发展。熵是一种不能转化为功的热能。熵的改变量等于热量的改变量除以绝对温度。高、低温度各自集中时，熵值很低；温度均匀扩散时，熵值增高。物体有秩序时，熵值低；物体无序时，熵值便增高。现在整个宇宙正在由有序趋于无序，由有规则趋于无规则，宇宙间熵的总量在增加。

信息熵

信息熵(Information Entropy)

目录 [隐藏] 1 什么是信息熵 2 信息熵的计算

[ 编辑]

什么是信息熵

　　信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。

[ 编辑]

信息熵的计算

　　根据Charles H. Bennett对Maxwell's Demon的解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言，当一种信息出现概率更高的时候，表明它被传播得更广泛，或者说，被引用的程度更高。我们可以认为，从信息传播的角度来看，信息熵可以表示信息的价值。这样我们就有一个衡量信息价值高低的标准，可以做出关于知识流通问题的更多推论。

　　信源的平均不定度。在信息论中信源输出是随机量，因而其不定度可以用概率分布来度量。记 H(X)＝H(P1，P2，…，Pn)＝P(xi)logP(xi)，这里P(xi)，i＝1，2，…，n为信源取第i个符号的概率。P(xi)=1，H(X)称为信源的信息熵。

　　熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值，称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出，对任何已知孤立的物理系统的演化，热熵只能增加，不能减少。然而这里的信息熵则相反，它只能减少，不能增加。所以热熵和信息熵互为负量。且已证明，任何系统要获得信息必须要增加热熵来补偿，即两者在数量上是有联系的。

　　可以从数学上加以证明，只要H(X)满足下列三个条件：

　　①连续性：H(P，1－P)是P的连续函数(0≤P≤1)；

　　②对称性：H(P1，…，Pn)与P1，…，Pn的排列次序无关；

　　③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，则有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；则一定有下列唯一表达形式：H(P1，…，Pn)＝-CP(xi)logP(xi)

　　其中C为正整数，一般取C＝1，它是信息熵的最基本表达式。

　　信息熵的单位与公式中对数的底有关。最常用的是以2为底，单位为比特(bit)；在理论推导中常采用以e为底，单位为奈特(Nat)；还可以采用其他的底和单位，并可进行互换。

　　信息熵除了上述三条基本性质外，还具有一系列重要性质，其中最主要的有：

　　①非负性：H(P1，…，Pn)≥0；

　　②确定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0；

　　③扩张性：Hn-1(P1，…，Pn-ε，ε)＝Hn(P1，…，Pn)；

　　④极值性：P(xi)logP(xi)≤P(xi)logQ(xi)；这里Q(xi)＝1；

　　⑤上凸性：H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，式中0＜λ＜1。