最大熵方法推导波尔兹曼分布

最大熵方法推导波尔兹曼分布

信息熵，不确定度的描述，熵增加，不确定度增加，熵减小，不确定度减小。

1. 离散型随机变量的信息熵

   考虑一个一维的离散的随机变量X（此处不考虑扩展到多维的情况），可以取离散的值,对应的概率分别为则离散型随机变量的信息熵为：

   

2. 连续型随机变量的信息熵

   考虑一个一维的连续型的随机变量X，若它的概率密度分布函数为f(x),那X在(a,b)之间的信息熵为：

   

能满足上面式子的解有无限多个，要确定一组我们认为最合理，最好的解，就需要利用最大熵原则

要求出最大熵就先要写出最大熵的表达式：

要最大化上面的熵表达式，同时要满足因此可以用拉格朗日乘子发求条件极值，得到下面的拉格朗日乘子式

分别对 进行求导，并让求导后的为0，求解出和,得到如下等式

可以求解出的表达式如下：

接着把的解析式代入：得到如下等式

可以看出，对取值离散的随机过程，最大熵意味着取平均概率，也就是说当取值概率相等的时候，熵最大化，下面看连续变量的情况

我们从离散情况过度到连续情况，有如下等式

是平均值，它是一个常量，是对应随机变量取值x的时候的值，同样，需要先写出熵信息的等式，然后在约束条件下求出熵信息最大化的参数值

对L(x)求f(x)的偏导，得到下式：

得到f(x) 的解析式：

只要求出就可以得到f(x)的解析表达式，剩下的工作就是估计这些未知的参数了。

波尔兹曼研究的是一个有N(N非常大)个离子组成的近视独立的系统，系统总能量等于各个离子能量的总和，通常微观离子的状态和能量是量子化的，即每一个微观离子在某一个能量下可能会处于不同的状态。做如下符号约定：

单个离子的编号：

单个离子的能量：

单个离子的量子态数（某一个能级状态下不同的量子态的个数，与能级相对应）：

任意一个离子所处的能量以及该能量下的状态是任意的，设某一个离子在s状态下的概率为,那么对该系统的熵表达式为：

归一化约束条件如下：

其中，M表示系统所有的量子态总数，即,由于N非常大，因此可以认为处于量子态s的离子数目为：,其中表示在量子态s下所对应的能级。那么系统的总能量为：

那么系统中得每个离子的平均能量为：

在系统中含有大量量子态的情况下，可上式表示为积分形式为：

根据前面我们求出来的最大熵条件下连续变量概率密度表达式可以得到约束条件下的解析表达式如下：

利用归一化条件

进一步可以得到：

整理得到：

进一步得到：

把带入得到：

如果令可以得到

处于热平衡状态时，处于第s个量子态的离子数目为

考虑同一能级上的个量子态具有相同的能量，也就是,由 可得知一个微观离子在同一能级状态下处于不同量子态的概率是相等的,那么能级上得离子数为：

因为

如果应用于气体分子运动速率分布（麦克斯韦分布可以得到）

K为波尔兹曼常数，T为热了学温度