最大熵

最新推荐文章于 2022-08-03 21:15:59 发布

策策cece

最新推荐文章于 2022-08-03 21:15:59 发布

阅读量1.4k

点赞数

最大熵

最大熵方法通常描述为：从所有符合已知知识的分布中选择信息熵最大的分布
主要内容：

boltzmann distribution
maxmium entropy principle
constraint rule
approximate

boltzmann distribution

物理学家玻尔兹曼使用过一个例子：
掷 $n$ 个骰子于桌子上，所有骰子出现的点数之和为 $n\alpha$ 。出现 $i$ 点( $i=1,2,\cdots,6$ )的骰子的比例是多大？
要选择一种最可能的比例，可以计算某种比例 $(n_1,\cdots,n_6)$ 对应的投掷方式数。每种投掷方式概率相等，则对应的投掷方式数越多则越可能。一个宏观状态 $(n_1,\cdots,n_6)$ 对应 $\binom{n}{n_1,\cdots,n_6}$ 种微观状态，每个微观状态的概率为 $\frac{1}{6^n}$ 。
在约束条件

\sum i = 1 6 i n i = n α \sum i = 1 n i = n

$\sum_{i=1}^6in_i=n\alpha\\\sum_{i=1}n_i=n$ 下求

(nn1,⋯,n6) $\binom{n}{n_1,\cdots,n_6}$ 最大值。
利用斯特林公式，

n!=(ne)n $n!=(\frac{n}{\mathrm{e}})^n$ ，可以得到：

(n n 1 , \dots , n 6) \approx ( n e ) n \prod 6 i = 1 ( n i e ) n i = e n H (n i n, \dots, n 6 n)

$\binom{n}{n_1,\cdots,n_6}\approx\frac{(\frac{n}{\mathrm{e}})^n}{\prod_{i=1}^6(\frac{n_i}{e})^{n_i}}=\mathrm{e}^{nH(\frac{n_i}{n},\cdots,\frac{n_6}{n})}$ 所以等价于求熵的最大值。
在总和一定的情况下，某个骰子出现不同点数的概率也是不同的。所有骰子可能的投掷方式越多，可能性越大。它的边缘分布服从boltzmann分布。

maxmium entropy principle

Jaynes改变了原始含义，希望根据”least biased”推测概率分布。
定义变量 $x$ 可能取值 $x_i(i=1,2,\cdots,n)$ 。我们并不知道每个值对应的概率 $p_i$ ，只知道函数 $f(x)$ 的期望值:

< f (x) > = \sum i = 1 n p i f (x i)

g(x) $g(x)$ 的期望值？这个问题看上去解不出来。因为信息不够充分，解不出

pi $p_i$ 。再加上一个归一化约束

\sum i = 1 n p i = 1

$\sum_{i=1}^np_i=1$ 还需要再补充

n−2 $n-2$ 个条件才行。

在较少的信息下确定概率是一个古老的问题。Laplace的”Principle of Insufficient Reason”给出了一个选择标准：两个事件在没有其他信息的情况下应该分配相等的概率。然而，除了满足对称性外，这个标准看起来没什么依据。

我们的问题是找到概率分布，它需要满足已知的信息，并且满足无偏原则。信息论提供了衡量不确定性的标准，我们可以在满足已知信息的条件下，让信息熵最大化，对未知信息做最少的假设。

在分布符合指数分布族时，极大似然估计的样本均值满足期望，这时最大熵分布和极大似然估计得到的结果一致。
如果在已知一些函数 $f_1(x),\cdots\,f_m(x)$ 的期望下，使用指数分布族，可以得到如下形式

p β 1 \dots β m (x) = e - β 1 f 1 ( x ) \dots - β m f m ( x ) Z ( β 1 , \dots , β m )

$p_{\beta_1\cdots\beta_m}(x)=\frac {\mathrm{e}^{-\beta_1f_1(x)\cdots-\beta_mf_m(x)}}{Z(\beta_1,\cdots,\beta_m)}$ 把它看作抽样分布，包含参数

β $\beta$ 为Lagrange乘子。选择一个特定的分布，就相当于估计一组参数

β $\beta$
在

N $N$ 组独立重复实验中获得结果

x⃗ =(x1,⋯,xN) $\vec {x}=(x_1,\cdots,x_N)$ ，得到似然函数

L x ⃗ (β 1, \dots, β m) : = p β 1 \dots β m (x ⃗)

$L_{\vec x}(\beta_1,\cdots,\beta_m):=p_{\beta_1\cdots\beta_m}(\vec x)$
求似然函数极大值，让导数为0得到等式：

f ¯ k : = 1 N \sum j = 1 N f k (x j) = - \partial \partial β k log Z (β 1, \dots, β m)

$\overline f_k:=\frac {1}{N}\sum_{j=1}^Nf_k(x_j)=-\frac{\partial}{\partial\beta_k}\log Z(\beta_1,\cdots,\beta_m)$ 由于

Z (β 1, \dots, β m) = \sum x e - β 1 f 1 (x) \dots β m f m (x)

$Z(\beta_1,\cdots,\beta_m)=\sum_x\mathrm{e}^{-\beta_1f_1(x)\cdots\beta_mf_m(x)}$ 可以得到

- \partial \partial β k log Z (β 1, \dots, β m) = \sum x f k (x) p β 1 \dots β m (x) = < f k > β 1 \dots β m

$-\frac{\partial}{\partial\beta_k}\log Z(\beta_1,\cdots,\beta_m)=\sum_xf_k(x)p_{\beta_1\cdots\beta_m}(x)=<f_k>_{\beta_1\cdots\beta_m}$

constraint rule

最大熵原则的约束条件是有争议的，为什么让 $\overline f=<f>$ 呢？上面只是证明了在指数分布族前提下这样符合极大似然估计，但是别的情况呢？
如果把 $f$ 换成 $f^{-1}$ ，约束条件变成 $\overline {f^{-1}}=<f^{-1}>$ ，不也可以吗？但是这样会得到不同的分布。
看一个掷骰子的例子。假设掷了 $N$ 次，点数为 $i$ 的情况出现了 $N_i$ 次，让 $n_i=\frac {N_i}{N}$ ，并且

\sum i i n i = 3.5

$\sum_iin_i=3.5$
通过最大熵，显然骰子是均匀的，

pi=16 $p_i=\frac{1}{6}$
但是通过贝叶斯方法，结果却不同，并且随着

N $N$ 的增加，差距也越来越大。
假设先验分布是均匀分布

φ (p 1, \dots, p 6) = 5! δ (\sum i p i - 1)

$\varphi(p_1,\cdots,p_6)=5!\delta(\sum_ip_i-1)$ 其中

pi≥0,i=1,⋯,6 $p_i\ge0,i=1,\cdots,6$ ，

δ $\delta$ 是狄拉克

δ $\delta$ 函数。

然后是似然函数

P (N 1, \dots, N 6 | p 1, \dots p 6) = N ! N 1 ! \dots N 6 ! p N 1 1 \dots p N 6 6

$P(N_1,\cdots,N_6|p_1,\cdots p_6)=\frac{N!}{N_1!\cdots N_6!}p^{N_1}_1\cdots p^{N_6}_6$

P (N 1, \dots, N 6) = \int \dots \int P (N 1, \dots, N 6 | p 1, \dots, p 6) φ (p 1, \dots, p 6) d p 1 \dots p 6 = 5 ! N ! ( N + 5 ) !

$P(N_1,\cdots,N_6)=\int\cdots \int P(N_1,\cdots,N_6|p_1,\cdots,p_6)\varphi(p_1,\cdots,p_6)dp_1\cdots p_6=\frac{5!N!}{(N+5)!}$
得到后验概率

φ (p 1, \dots, p 6 | N 1, \dots, N 6) = P ( N 1 , \dots , N 6 | p 1 , \dots , p 6 ) φ ( p 1 , \dots , p 6 ) P ( N 1 , \dots , N 6 ) = ( N + 5 ) ! N 1 ! \dots N 6 ! p N 1 1 \dots p N 6 6 δ (\sum i p i - 1)

$\varphi(p_1,\cdots,p_6|N_1,\cdots,N_6)=\frac {P(N_1,\cdots,N_6|p_1,\cdots,p_6)\varphi(p_1,\cdots,p_6)}{P(N_1,\cdots,N_6)}=\frac{(N+5)!}{N_1!\cdots N_6!}p^{N_1}_1\cdots p^{N_6}_6\delta(\sum_ip_i-1)$

P (i N + 1 = i | N 1, \dots, N 6) = \int \dots \int p i φ (p 1, \dots, p 6 | N 1, \dots, N 6) d p 1 \dots p 6 = N i + 1 N + 6

$P(i_{N+1}=i|N_1,\cdots,N_6)=\int\cdots\int p_i\varphi(p_1,\cdots,p_6|N_1,\cdots,N_6)dp_1\cdots p_6=\frac{N_i+1}{N+6}$
当

1N∑iiNi=a $\frac{1}{N}\sum_iiN_i=a$ 时

P (x N + 1 = i | 1 N \sum i i N i = a) = \sum ' P ( x N + 1 = i | N 1 , \dots , N 6 ) P ( N 1 , \dots , N 6 ) P ( 1 N \sum i i N i = a ) = \sum ' ( N i + 1 ) \sum 6 k = 1 \sum ' ( N k + 1 )

$P(x_{N+1}=i|\frac{1}{N}\sum_iiN_i=a)=\frac{\sum'P(x_{N+1}=i|N_1,\cdots,N_6)P(N_1,\cdots,N_6)}{P(\frac{1}{N}\sum_iiN_i=a)}=\frac{\sum'(N_i+1)}{\sum_{k=1}^6\sum'(N_k+1)}$
这个式子不太容易看出来分布规律，可以列一张表