什么是熵-------第四部分

最新推荐文章于 2022-10-03 16:54:04 发布

白交_Robin

最新推荐文章于 2022-10-03 16:54:04 发布

阅读量756

点赞数

分类专栏：学习笔记文章标签：信息论 Shannon Boltzmann 中央極限定理遍歷理論

学习笔记专栏收录该内容

30 篇文章 0 订阅

订阅专栏

4. Boltzmann 熵

熱力學中熵是一個極其重要的概念，最初由 Clausius 引進。後來 L. Boltzmann 在他發表在1866年關於氣體動力學理論的開創性工作中給出了熵的另一形式。這個熵在物理、化學的若干領域裡自始至終扮演著關鍵性的角色。可是 Boltzmann 熵和我們先前定義的 Kolmogorov 熵或拓樸熵並非一致。儘管如此，它們在數學的背景下，仍存在著千絲萬縷的聯繫。在這最後一節，我們將遨遊於 Boltzmann 熵的數學描述。

設 $(X,p_1,\cdots,p_n)$ 為一有限樣本空間，則其 Shannon 熵為 $H(p_1,\cdots,p_n)=-\sum_{i=1}^{n}p_i \log{p_i}$ ，現設 $(X,\Sigma,\mu)$ 為一測度空間。記 L'(X) 為定義在 X 上的 Lebesgue 可積函數全體。 L'(X) 中滿足等式

$\begin{displaymath}\int_{x} f(x)d \mu =1\end{displaymath}$

的非負函數了 f(x) 稱為密度函數，其集合記為 D。易見等式

$\begin{displaymath}\mu_f(A)=\int_{A}f(x)d\mu \quad A\in \Sigma\end{displaymath}$

定義了 $(X,\Sigma)$ 上的一個概率測度，其對應的密度就是 f(x) 。概率空間 $(X,\Sigma,\mu_f)$ 可看成是無窮樣本空間。由 Shannon 熵的啟迪，我們可以如下定義 f 的 Boltzmann 熵。為此，令函數 $\eta(\mu)$ 定義為

$\begin{displaymath}\eta(\mu)=\left\{\begin{array}{cc}-u\log{u} & u>0 \\0 & u=0\\\end{array}\right.\end{displaymath}$

$\eta(u)$ 的圖像由圖4-1表示。

圖4-1

定義4-1：

設 $f\in D$ 且 $\eta(f)\in L'(X)$ 則 f 的 Boltzamann 熵定義為

$\begin{displaymath}H(f)=\int_{x} \eta(f(x)) d \mu=-\int_{x} f(x) \log{f(x)}d \mu\end{displaymath}$

由 $\eta(u)$ 定義知， $\eta '(\mu)=-(\log{u}+1)$ ， $\eta ''(u) = -\frac{1}{u} <0$ 。因而η是 $[0,\infty)$ 上的嚴格遞增凹函數，由Taylor展式，任給 $u,v \geq 0$ ，

$\displaystyle \eta(u)$	=	$\displaystyle \eta(v)+\eta '(v)(u-v)+ \frac{\eta ''(\xi)}{2!}(u-v)^2$	(1)
	<	$\displaystyle \eta(v) + \eta '(v)(u-v)$	(2)

即，

$\begin{displaymath}-u\log{u} \leq -v \log{v}-(\log{v}+1)(u-v)\end{displaymath}$

簡化之，我們便有有名的 Gibbs 不等式，

$\begin{displaymath}u-u \log{u} \leq v- u\log{v}\end{displaymath}$

任給函數 $f,g \in D$ ，由 Gibbs 不等式和積分的單調性，

$\begin{displaymath}\int_{X} (f(x)-f(x)\log{f(x)}) d\mu\leq \int_{X} (g(x)-f(x) \log{g(x)}d \mu\end{displaymath}$

由於 $\int_{x}f(x)d\mu =\int_{x} g(x) d \mu =1$ ，我們有如下重要的積分不等式： $\forall f,g \in D$

$\begin{displaymath}-\int_{X} f(x) \log{f(x)}d\mu\leq \int_{X} f(x) \log{g(x)}d\mu \eqno{(4-1)}\end{displaymath}$

在有限的樣本空間 (X,p₁ ,…, p_n) 中，Shannon 熵在 p₁=p₂= … =p_n=n 時為最大，Boltzmann 熵在概率測度空間裡也有類似的性質。

命題4-2：

設 $\mu(X) < + \infty$ ，則密度函數 $f_0(x)\equiv \frac{1}{\mu(X)}$ 滿足

$\begin{displaymath}H(f_0)= \log{\mu (X)} = \mbox{max}\{ H(f): f \in D\}\end{displaymath}$

證明：

首先易見 $f_0 \in D$ 。其次，任給 $f\in D$ ，由不等式(4-1)

$\begin{eqnarray*}H(f)&=& -\int_{X} f(x) \log{f(x)} d\mu \\&\leq& -\int_{X} f......& \log{\mu(X)} \int_{X} f(x) d\mu \\&=& \log{\mu(X)} = H(f_0)\end{eqnarray*}$

為了描述一些與Boltzmann熵有關的條件極值問題。我們引進一些概率論常用的術語。設X為一個隨機變量(Random Variable) ，即X為某一固定樣本空間上的可測實函數。 f(x)為這個測度空間的密度函數，則

$\begin{displaymath}\mbox{E}(X)=\int_{\infty}^{\infty} xf(x)dx\end{displaymath}$

稱為 X 的期望值 (Expected Value 或 Expectation)。而數

$\begin{displaymath}\mbox{Var}(X)=\int_{-\infty}^{\infty} (x-\mbox{E}(X))^2f(x)dx\end{displaymath}$

則稱為 X 的變異數 (variance)。期望值是關於於隨機變量 X 平均值的一個度量，變異數則表示隨機變量偏離其平均值的程度。下列性質，可以輕易的被驗證：

(i) $\mbox{E}(aX+bY)=a\mbox{E}(X)+b\mbox{E}(Y)$

(ii) $\mbox{Var}(cX)=c^2 \mbox{Var}(X)$

(iii) $\mbox{Var}(X)=\mbox{E}(X^2)-\mbox{E}(X)^2$

(iv) 若 X 和 Y「獨立(independent)」則 $\mbox{Var}(X+Y)=\mbox{Var}(X)+\mbox{Var}(Y)$

設有一列獨立隨機變量 $\{X_{k}\}_{k \geq 1}$ ， $\mbox{E}(X_k)=m_k$ ， $\mbox{Var}(X_k-m_k)=\sigma_k^2$ ，令

$\begin{displaymath}S_n=\sum_{k=1}^{n}(X_k-m_k)\end{displaymath}$

則，

$\begin{eqnarray*}\mbox{Var}(S_n)&=&\mbox{Var}(\sum_{k=1}^{n}(X_k-m_k)) \\&=& \sum_{k=1}^{n} \mbox{Var}(X_k-m_k)= \sum_{k=1}^{n} \sigma_k^2\end{eqnarray*}$

我們標準化 S_n ，即令

$\begin{displaymath}T_n = \frac{S_n}{\sqrt{\mbox{Var}(S_n)}}\end{displaymath}$

則 $E(T_n)=0,\mbox{Var}(T_n)=1$

概率理論中有個非常重要的基本定理：中央極限定理 (central limit theorem)。它大概的意思是說，在漸近狀態下，通常隨機變量 T_n 的概率分佈 (Probability distribution) 是遵循 Gauss 分佈規律的，也就是說，

$\begin{displaymath}\lim_{n \rightarrow \infty } P(a \leq T_n \leq b) =\frac{1}{\sqrt{2\pi}} \int_{a}^{b} e^{-\frac{u^2}{2}} du\end{displaymath}$

其中 P 為樣本空間的概率分佈。

但是，為什麼大家都遵循的是 Gauss 分佈規律，而不是其他的分佈規律呢？事實上，這和熱力學第二定律有異曲同工之妙。熱力學第二定律大致上說，自然界的規律是，一切動態系統都是在向「熵」高的方向發展。從這個角度來看，在 $\mbox{E}(T_n)=0$ , $\mbox{Var}(T_n)=1$ 的條件下， Gauss 分佈的確有最大的 Boltzmann 熵，我們用下面的命題，對這點略加說明。

記 $\overline{D}=\{ f \in D : \int_{-\infty}^{\infty} xf(x) dx =0,\int_{-\infty}^{\infty} x^2 f(x)dx =1 \}$

命題4-3

設 $f_0(x) = \frac{1}{\sqrt{2\pi}} e^{-\frac{x^2}{2}}$ ，則 $f\in D$ 且

$\begin{displaymath}H(f_0)= \mbox{max} \{ H(f): f \in \overline{D}\}= \log{\sqrt{2 \pi}}+\frac{1}{2}\end{displaymath}$

證明：

由公式 $\int_{-\infty}^{\infty} e^{-x^2} dx = \sqrt{\pi}$ ，易知 $\int_{-\infty}^{\infty} f_0(x)dx= \frac{1}{\sqrt{2\pi}} \int_{-\infty}^{\infty} e^{-\frac{x^2}{2}} dx =1$ 即 $f_0 \in D$ ，又由部分積分法易證

$\begin{displaymath}\int_{-\infty}^{\infty} x f_0(x)dx =0\end{displaymath}$

以及

$\begin{displaymath}\int_{-\infty}^{\infty} x^2f_0(x) dx =1\end{displaymath}$

則 $f_0(x) \in \overline{D}$ ，由不等式(4-1)

$\begin{eqnarray*}H(f) &= & \int_{-\infty}^{\infty} f(x) \log{f(x)}dx\\&\leq&......sqrt{2\pi}} ]dx \\&=& \log{(\sqrt{2\pi})}+\frac{1}{2} = H(f_0)\end{eqnarray*}$

類似地，記 $\overline{\overline{D}}=\{f \in D,\int_{0}^{\infty} xf(x) = \frac{1}{\lambda} \}$ 比照上述證明，我們有

命題4-4：

設 $f_0(x)=\lambda e^{- \lambda x}$ ，則 $f_0 \in \overline{\overline{D}}$ ，且

$\begin{displaymath}H(f_0) =\mbox{max}\{ H(f): f \in \overline{\overline{D}} \}=1 -\log{\lambda}\end{displaymath}$

上述兩命題，可推廣到下述一般情形。設 $g\in L^{\infty}$ ，給定約束

$\begin{displaymath}\int_{x} g(x)f(x)dx = \overline{g}\end{displaymath}$

則 H(f) 在此約束下，最大值的密度函數應為

$\begin{displaymath}f_0(x) = \frac{e^{- rg(x)} }{\int_X e^{-rg(x)}dx}\end{displaymath}$

其中 r 為一常數。同樣，若有兩個約束

$\begin{displaymath}\int_{X} g_1(x)f(x)dx = \overline{g_1}\end{displaymath}$

和

$\begin{displaymath}\int_{X} g_2(x)f(x)dx = \overline{g_2}\end{displaymath}$

則密度函數

$\begin{displaymath}f(x)= \frac{e^{-(r_1g_2(x)+r_2g_2(x))}}{\int_X e^{-(r_1g_2(x)+r_2g_2(x))} dx }\end{displaymath}$

給出了 H(f) 在這兩個約束下的最大值 H(f₀) ，其中 r₁,r₂ 為兩常數。更一般地，我們有

命題4-4：

設 $(X,\Sigma,\mu)$ 為一測度空間，非負函數 $g_1,\cdots,g_m \in L^{\infty}(X)$ 及正常數 r₁,…, r_m 滿足條件

$\begin{displaymath}\frac{\int_{X} g_i(x) \prod_{i=1}^{m} e^{-r_jg_j(x)} d \mu}......{m} e^{-r_jg_j(x)} d \mu }=\overline{g_i},\quad i=1.\cdots,m\end{displaymath}$

則 H(f) 在約束

$\begin{displaymath}\int_{X} g_i(x)f(x) dx = \overline{g}_i,\quad i=1,\cdots,m\end{displaymath}$

下最大密度值函數為

$\begin{displaymath}f_0(x)=\frac{\prod_{i=1}^{m} e^{-r_i}{g_i(x)}}{\int_{X} \prod_{i=1}^{m} e^{-r_ig_i(x)} d \mu }\end{displaymath}$

證明：

為簡單起見，令 $z= \int_X \prod_{i=1}^{m}e^{-r_ig_i(x)} d \mu$ ，則 $f_0(x)= z^{-1} \prod_{i=1}^{m} e^{-r_i}{g_i(x)}$ 。不難算出

$\begin{displaymath}H(f_0)= \log{z}+ \sum_{i=1}^{m} r_i \overline{g}_i\end{displaymath}$

任給密度函數 f 滿足上述約束條件，由不等式(4-1)知，

$\begin{eqnarray*}H(f)&\leq& -\int_X f(x) \log{[z^{-1} \prod_{i=1}^{m} e^{-r_ig......] d\mu \\&=& \log{z} + \sum_{i=1}^{m} r_i\overline{g}_i=H(f_0)\end{eqnarray*}$

特別，當 m=1 時，若 g(x) 看成是系統的能量時， f₀(x)= z^-1 e^-rg(x) 恰好就是 Gibbs 典型分怖函數，且 $z=\int_X e^{-rg(x)d\mu}$ 為其分析函數，而對應的最大熵 $H(f_0)=\log{z}+r\overline{g}$ 恰好就是眾所周知的熱力學熵。