18-指数族分布

指数族分布主要是指的一类分布，只需要它们都是满足一种形式即可，比如我们常见的指数族分布有：

• Guassian 分布
• Bernoulli 分布 (类别分布)
• 二项分布 (多项式分布)
• 泊松分布
• Beta 分布
• Dirichlet 分布
• Gamma 分布
• Gibbs 分布

1.指数族分布通用形式

$$p(x|\eta )=h(x)ex{p}^{[{\eta }^T\varphi (x)-A(\eta )]}\text{\hspace{1em}(1)}$$

• $\eta :参数向量，\eta ,x\in {\mathbb{R}}^P$
• $A(\eta ):\log (partition-function(配分函数)$
• $h(x):只跟x有关，在处理的时候通常令h(x)=1,通常不那么重要$

1.1 配分函数定义

配分函数来源于统计物理学，在这里其实就是一个归一化因子，它仅仅只是从计算角度来看，为了让$P(X|\theta )$是一个概率分布；让概率密度$\hat{p}(x|\theta )$对x进行积分求和时为1；
$$我们定义：p(x|\theta )=\frac{1}{z}\hat{p}(x|\theta )\text{\hspace{1em}(2)}$$
$$两边同时对x求积分：\int p(x|\theta )dx=\int \frac{1}{z}\hat{p}(x|\theta )dx\text{\hspace{1em}(3)}$$
$$因为：\int p(x|\theta )dx=1；\int \frac{1}{z}\hat{p}(x|\theta )dx=\frac{1}{z}\int \hat{p}(x|\theta )dx\text{\hspace{1em}(4)}$$
$$所以：z=\int \hat{p}(x|\theta )dx\text{\hspace{1em}(5)}$$

1.2指数族分布中的配分函数

$$\because p(x|\eta )=h(x)ex{p}^{[{\eta }^T\varphi (x)-A(\eta )]}$$
$$\therefore p(x|\eta )=h(x)ex{p}^{[{\eta }^T\varphi (x)]}ex{p}^{(-A(\eta ))}$$
$$\therefore p(x|\eta )=\frac{1}{ex{p}^{A(\eta )}}h(x)ex{p}^{[{\eta }^T\varphi (x)]}$$
$$\therefore 我们可以令ex{p}^{A(\eta )}=z;h(x)ex{p}^{[{\eta }^T\varphi (x)]}=\hat{p}(x|\eta )$$
$$\therefore A(\eta )=\log z;且z为配分函数。$$
$$A(\eta )=\log \int h(x)ex{p}^{{\eta }^T\varphi (x)}dx\text{\hspace{1em}(6)}$$

2.指数族分布特点

2.1 充分统计量[人大代表]

由于我们知道指数族分布的一般形式为：
$$p(x|\eta )=h(x)ex{p}^{[{\eta }^T\varphi (x)-A(\eta )]}\text{\hspace{1em}(7)}$$

• $\varphi (x)$：充分统计量

我们定义充分统计量为一个样本的函数，是对样本的加工。如果我们有了统计量，那么我们可以用这个统计量来表达样本的完整的信息。甚至我们可以丢弃掉样本。

举例：

我们定义样本服从高斯分布(Guassian-Distribution)，样本数据为： { x 1 , x 2 , . . . , x N } \{x_1,x_2,...,x_N\} {x1​,x2​,...,xN​}

我们令$\varphi (x)=\left(\begin{array}{c}{\sum }_{i=1}^N{x}_i\\ \\ {\sum }_{i=1}^N{x}_i^2\end{array}\right)$，我们可以用$\varphi (x)$来表达高斯分布的$\theta =(\mu ,\Sigma )$,直接用它来生成一个与原分布一样的分布；

它的好处是，我们在机器学习中的Online-Learning(在线学习)非常有用，我们只需要用少量的数据$\varphi (x)$就可以表达出样本数据，起到压缩数据的作用。

2.2 共轭

共轭是一种比较方便的方法，其主要思想是假设给定一个似然分布$p(x|z)$，且似然具有一个自身共轭的先验$p(z)$,那么就会得到$p(z)$与p(z|x)具有相同的分布形式
例：
$$p(z|x)\propto p(x|z)p(z)\text{\hspace{1em}(8)}$$

• $如果p(x|z)与p(z)共轭，且p(z)服从Beta分布，那么p(x|z)也服从Beta分布$

贝叶斯定理：
$$p(z|x)=\frac{p(x|z)p(z)}{{\int }_{z}p(x|z)p(z)dz}\text{\hspace{1em}(9)}$$

• $p(z|x)$：后验概率
• $p(x|z)$: 似然概率
• $p(z)$：先验概率

我们推断的主要问题是积分难的问题,由于我们知道通常情况下${\int }_{z}p(x|z)p(z)dz$一般求解不出来的，或者$p(z|x)$形式特别复杂，导致我们很难算出${\mathbb{E}}_{p(z|x)}[f(z)]$,为了解决上述问题通常有如下方式：

近似推断：直接来求出后验$p(z|x)和{\mathbb{E}}_{p(z|x)}[f(z)]$

• 变分
• MCMC

变分：用一个简单的方式去拟合一个复杂的分布，从而得到关于$p(z|x)$的近似分布形式

采样：蒙特卡洛采样中的序列蒙特卡洛(SMC)与马尔可夫链蒙特卡洛(MCMC)是直接求解${\mathbb{E}}_{p(z|x)}[f(z)]$；其主要是用来求解一些不易求积分的问题。

2.3 最大熵(无信息先验)

在给定限制条件下，对未知的部分假设它们是等可能发生的，我们就用最大熵的量化这种等可能性。对于贝叶斯理论来说，我们往往需要给先验p(z)一个分布，常常遵循如下方：

• 共轭：为了计算方便
• 最大熵：为了解决无信息先验问题
• Jerrif.

2.4 广义线性模型

广义线性模型提出来主要是为了解决分类和回归问题，它有三个基本的概念

• 线性组合：$w^{T}x$
• 链接函数(Link-Function)—>$(激活函数{)}^{-1}$;注：激活函数的反函数
• 指数族分布：$y|x\sim 指数族分布$
  1）线性回归：当假设噪声服从高斯分布时，可以得到$y|x\sim N(\mu ,\Sigma )$
  2）二分类问题：
  2.1)$y|x\sim Bernoulli分布$
  2.2)$y|x\sim Possion分布$

2.5 概率图模型

概率图模型中包含如下：

• 无向图：受限玻尔兹曼机RBM(Restricted Boltzmann Machine)

2.6 变分推断

指数族分布在变分推断中占据了十分重要的地位，如果分布满足指数族分布，那么会让变分推断大大的简化。

3.高斯分布的指数族形式转换

我们需要将高斯分布的密度函数转换成通用指数族分布的形式：
高 斯 ： p ( x ∣ μ , σ 2 ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } ⟹ 指 数 族 ： p ( x ∣ η ) = h ( x ) e x p { [ η T ϕ ( x ) − A ( η ) ] } (10) 高斯：p(x|\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x-\mu)^2}{2\sigma^2}\}\Longrightarrow 指数族：p(x|\eta)=h(x)exp\{[\eta^T\phi(x)-A(\eta)]\}\tag{10} 高斯：p(x∣μ,σ2)=2π ​σ1​exp{−2σ2(x−μ)2​}⟹指数族：p(x∣η)=h(x)exp{[ηTϕ(x)−A(η)]}(10)

3.1高斯转换详细步骤：

∵ p ( x ∣ μ , σ 2 ) = 1 2 π σ e x p { − ( x − μ ) 2 2 σ 2 } \because p(x|\mu,\sigma^2)=\frac{1}{\sqrt{2\pi}\sigma}exp\{-\frac{(x-\mu)^2}{2\sigma^2}\} ∵p(x∣μ,σ2)=2π ​σ1​exp{−2σ2(x−μ)2​}

∴ p ( x ∣ μ , σ 2 ) = e x p { − 1 2 log ⁡ ( 2 π σ 2 ) } e x p { − x 2 − 2 x μ + μ 2 2 σ 2 } \therefore p(x|\mu,\sigma^2)=exp\{-\frac{1}{2}\log(2\pi\sigma^2)\}exp\{-\frac{x^2-2x\mu+\mu^2}{2\sigma^2}\} ∴p(x∣μ,σ2)=exp{−21​log(2πσ2)}exp{−2σ2x2−2xμ+μ2​}

∴ p ( x ∣ μ , σ 2 ) = e x p { − 1 2 σ 2 ( − 2 μ , 1 ) ( x x 2 ) − ( μ 2 2 σ 2 + 1 2 log ⁡ ( 2 π σ 2 ) ) } \therefore p(x|\mu,\sigma^2)=exp\{-\frac{1}{2\sigma^2}(-2\mu,1)\begin{pmatrix} x\\\\x^2 \end{pmatrix}-(\frac{\mu^2}{2\sigma^2}+\frac{1}{2}\log(2\pi\sigma^2))\} ∴p(x∣μ,σ2)=exp{−2σ21​(−2μ,1)⎝⎛​xx2​⎠⎞​−(2σ2μ2​+21​log(2πσ2))}
∴ p ( x ∣ μ , σ 2 ) = e x p { ( μ σ 2 , − 1 2 σ 2 ) ( x x 2 ) − ( μ 2 2 σ 2 + 1 2 log ⁡ ( 2 π σ 2 ) ) } \therefore p(x|\mu,\sigma^2)=exp\{(\frac{\mu}{\sigma^2},-\frac{1}{2\sigma^2})\begin{pmatrix} x\\\\x^2 \end{pmatrix}-(\frac{\mu^2}{2\sigma^2}+\frac{1}{2}\log(2\pi\sigma^2))\} ∴p(x∣μ,σ2)=exp{(σ2μ​,−2σ21​)⎝⎛​xx2​⎠⎞​−(2σ2μ2​+21​log(2πσ2))}
我们将上述形式转换成指数族分布可得如下：
$\eta =\left(\begin{array}{c}{\eta }_1\\ \\ {\eta }_2\end{array}\right)=\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ \\ -\frac{1}{2{\sigma }^2}\end{array}\right)⟹{\eta }_1=\frac{\mu }{{\sigma }^2};{\eta }_2=-\frac{1}{2{\sigma }^2}$

$$\mu =-\frac{{\eta }_1}{2{\eta }_2};{\sigma }^2=-\frac{1}{2{\eta }_2}\text{\hspace{1em}(11)}$$
我们可以将$A(\eta )=(\frac{{\mu }^2}{2{\sigma }^2}+\frac{1}{2}\log (2\pi {\sigma }^2))化简为含{\eta }_1,{\eta }_2的式子：$
$$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (-\frac{\pi }{{\eta }_2})\text{\hspace{1em}(12)}$$
综上所述：

指数族分布形式：
p ( x ∣ η ) = h ( x ) e x p { [ η T ϕ ( x ) − A ( η ) ] } (13) p(x|\eta)=h(x)exp\{[\eta^T\phi(x)-A(\eta)]\}\tag{13} p(x∣η)=h(x)exp{[ηTϕ(x)−A(η)]}(13)
$$h(x)=1\text{\hspace{1em}(13)}$$
$$\eta =\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ \\ -\frac{1}{2{\sigma }^2}\end{array}\right)\text{\hspace{1em}(13)}$$
$$\varphi (x)=\left(\begin{array}{c}x\\ \\ x^2\end{array}\right)\text{\hspace{1em}(13)}$$
$$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (-\frac{\pi }{{\eta }_2})\text{\hspace{1em}(13)}$$

4.对数配分函数$A^{\prime }(\eta ),A^{\prime \prime }(\eta )$

我们已知指数族分布的一般形式为：
p ( x ∣ η ) = h ( x ) e x p { [ η T ϕ ( x ) − A ( η ) ] } (14) p(x|\eta)=h(x)exp\{[\eta^T\phi(x)-A(\eta)]\}\tag{14} p(x∣η)=h(x)exp{[ηTϕ(x)−A(η)]}(14)
步骤如下：

p ( x ∣ η ) = 1 e x p { A ( η ) } h ( x ) e x p { [ η T ϕ ( x ) ] } p(x|\eta)=\frac{1}{exp\{A(\eta)\}}h(x)exp\{[\eta^T\phi(x)]\} p(x∣η)=exp{A(η)}1​h(x)exp{[ηTϕ(x)]}

两边对x进行积分

∫ p ( x ∣ η ) d x = ∫ 1 e x p { A ( η ) } h ( x ) e x p { [ η T ϕ ( x ) ] } d x = 1 \int p(x|\eta)dx=\int \frac{1}{exp\{A(\eta)\}}h(x)exp\{[\eta^T\phi(x)]\}dx=1 ∫p(x∣η)dx=∫exp{A(η)}1​h(x)exp{[ηTϕ(x)]}dx=1

因为：$\int p(x|\eta )dx=1,并整理上式可得：$

∫ h ( x ) e x p { [ η T ϕ ( x ) ] } d x = e x p { A ( η ) } \int h(x)exp\{[\eta^T\phi(x)]\}dx=exp\{A(\eta)\} ∫h(x)exp{[ηTϕ(x)]}dx=exp{A(η)}

等式两边对$\eta$求导可得：

∫ h ( x ) e x p { [ η T ϕ ( x ) ] } ϕ ( x ) d x = e x p { A ( η ) } A ′ ( η ) \int h(x)exp\{[\eta^T\phi(x)]\}\phi(x)dx=exp\{A(\eta)\}A'(\eta) ∫h(x)exp{[ηTϕ(x)]}ϕ(x)dx=exp{A(η)}A′(η)

整理上式可得：

A ′ ( η ) = ∫ h ( x ) e x p { [ η T ϕ ( x ) ] } ϕ ( x ) d x e x p { A ( η ) } = ∫ h ( x ) e x p { η T ϕ ( x ) − A ( η ) } ϕ ( x ) d x = E p ( x ∣ η ) [ ϕ ( x ) ] A'(\eta)=\frac{\int h(x)exp\{[\eta^T\phi(x)]\}\phi(x)dx}{exp\{A(\eta)\}}=\int h(x)exp\{\eta^T\phi(x)-A(\eta)\}\phi(x)dx=\mathbb{E}_{p(x|\eta)}[\phi(x)] A′(η)=exp{A(η)}∫h(x)exp{[ηTϕ(x)]}ϕ(x)dx​=∫h(x)exp{ηTϕ(x)−A(η)}ϕ(x)dx=Ep(x∣η)​[ϕ(x)]

结论：
$$A^{\prime }(\eta )={\mathbb{E}}_{x\sim p(x|\eta )}[\varphi (x)]\text{\hspace{1em}(15)}$$
$$A^{\prime \prime }(\eta )={\mathbb{V}ar}_{x\sim p(x|\eta )}[\varphi (x)]\text{\hspace{1em}(16)}$$
注：由于$A^{\prime \prime }(\eta )={\mathbb{V}ar}_{x\sim p(x|\eta )}[\varphi (x)]，且{\mathbb{V}ar}_{x\sim p(x|\eta )}[\varphi (x)]\ge 0;所以A^{\prime \prime }(\eta )\ge 0;故为凸函数$

4.1用高斯分布验证

由前面我们的推断高斯密度函数中得到公式<13>
指数族分布形式：
p ( x ∣ η ) = h ( x ) e x p { [ η T ϕ ( x ) − A ( η ) ] } (13) p(x|\eta)=h(x)exp\{[\eta^T\phi(x)-A(\eta)]\}\tag{13} p(x∣η)=h(x)exp{[ηTϕ(x)−A(η)]}(13)
$$h(x)=1\text{\hspace{1em}(13)}$$
$$\eta =\left(\begin{array}{c}\frac{\mu }{{\sigma }^2}\\ \\ -\frac{1}{2{\sigma }^2}\end{array}\right)\text{\hspace{1em}(13)}$$
$$\varphi (x)=\left(\begin{array}{c}x\\ \\ x^2\end{array}\right)\text{\hspace{1em}(13)}$$
$$A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (-\frac{\pi }{{\eta }_2})\text{\hspace{1em}(13)}$$
那么我们求:
$$\mathbb{E}[\varphi (x)]=\left(\begin{array}{c}\mathbb{E}[x]\\ \\ \mathbb{E}[x^2]\end{array}\right)$$
又因为，$A^{\prime }[{\eta }_1]=\mathbb{E}[\varphi (x_1)];且\mathbb{E}[\varphi (x_1)]=\mathbb{E}[x_1]=\mu$

那么我们就验证$A^{\prime }[{\eta }_1]是否等于\mu$

$\because A(\eta )=-\frac{{\eta }_1^2}{4{\eta }_2}+\frac{1}{2}\log (-\frac{\pi }{{\eta }_2})$

对${\eta }_1求偏导可得：$

$A^{\prime }[{\eta }_1]=-\frac{{\eta }_1}{2{\eta }_2}$

将${\eta }_1=\frac{\mu }{{\sigma }^2};{\eta }_2=-\frac{1}{2{\sigma }^2}$代入上式可得：

$A^{\prime }[{\eta }_1]=\mu$

$$故A^{\prime }(\eta )={\mathbb{E}}_{x\sim p(x|\eta )}[\varphi (x)]成立$$

5.极大似然估计

我们定义一组数据集： D = { x 1 , x 2 , . . . , x N } D=\{x_1,x_2,...,x_N\} D={x1​,x2​,...,xN​},我们要求极大似然估计${\eta }_{MLE}$

已知：
$${\eta }_{MLE}=argmax\log \prod _{i=1}^{N}p(x_i|\eta )\text{\hspace{1em}(14)}$$
$$p(x_i|\eta )=h(x_i)ex{p}^{[{\eta }^T\varphi (x_i)-A(\eta )]}\text{\hspace{1em}(15)}$$

详解：

$\because {\eta }_{MLE}=argmax\log {\prod }_{i=1}^{N}h(x_i)ex{p}^{[{\eta }^T\varphi (x_i)-A(\eta )]}$

$\therefore {\eta }_{MLE}=argmax{\sum }_{i=1}^N\log [h(x_i)ex{p}^{[{\eta }^T\varphi (x_i)-A(\eta )]}]$

$\therefore {\eta }_{MLE}=argmax{\sum }_{i=1}^N[\log [h(x_i)]+[{\eta }^T\varphi (x_i)-A(\eta )]]$

$\because h(x_i)与{\eta }_{MLE}无关，所以在后续求偏导中为零，可以忽略。$

$\therefore {\eta }_{MLE}=argmax{\sum }_{i=1}^N[{\eta }^T\varphi (x_i)-A(\eta )]$

求偏导可得：

$\therefore \frac{\partial {\eta }_{MLE}}{\partial \eta }=argmax{\sum }_{i=1}^N[\varphi (x_i)-A^{\prime }(\eta )]=0$

$\therefore A^{\prime }({\eta }_{MLE})=\frac{1}{N}{\sum }_{i=1}^N\varphi (x_i)$

$注：A^{\prime }({\eta }_{MLE})为{\eta }_{MLE}的函数，所以，我们可以通过反解A^{\prime }({\eta }_{MLE})求解{\eta }_{MLE}$

$$结论：对于求解{\eta }_{MLE}时，我们只需要求解\frac{1}{N}\sum _{i=1}^N\varphi (x_i)即可，不需要保留整个样本。神奇！$$

6.最大熵原理

6.1在无信息先验下最大熵分布为均匀分布

熵的定义：用来衡量信息反映的信息量的多少的单位；一个系统越有序，信息熵越低，一个系统越无序，信息熵越高。
我们定义一个随机变量发生的概率为p,那么它的信息量为$-\log p$;比如说当p=1时，那么这个系统已经确定了，所以它的信息量为0；

熵的为信息量$-\log p$关于分布p(x)的期望：
$$熵={\mathbb{E}}_{p(x)}[-\log p]=\int -p(x)\log p(x)dx=-\sum _{x}p(x)\log p(x)=\text{\hspace{1em}(16)}$$
最大熵的就是让一个分布尽最大可能满足等可能性，这里我们先讨论没有任何约束条件下的最大熵；
$$H(x)=-\sum _{x}p(x)\log p(x)\text{\hspace{1em}(17)}$$
我们定义分布满足如下：

由上表可得${\sum }_{i=1}^N{p}_i=1$

我们的目标是求在满足条件${\sum }_{i=1}^N{p}_i=1$的情况下，要求$H(x)$的最大值;用数学表达如下：
$$argmaxH(X)=argmax[-\sum _{x}p(x)\log p(x)]=argmim[\sum _{x}p(x)\log p(x)]\text{\hspace{1em}(18)}$$
$$s.t：\sum _{i=1}^N{p}_i=1\text{\hspace{1em}(18)}$$
$注：p=(p_1,p_2,...,p_N{)}^T$

将上述带约束问题的极值问题转换成拉格朗日乘子式可得：
$$L(p,\lambda )=\sum _{i=1}^{N}p(x_i)\log p(x_i)+\lambda (1-\sum _{i=1}^{N}p(x_i))\text{\hspace{1em}(19)}$$
$$令：\frac{\partial L(p,\lambda )}{\partial p(x_i)}=0\text{\hspace{1em}(20)}$$
$$\frac{\partial L(p,\lambda )}{\partial p(x_i)}=\log p(x_i)+1-\lambda =0\text{\hspace{1em}(21)}$$
解得：
p ^ ( x i ) = e x p { λ − 1 } \hat{p}{(x_i)}=exp\{\lambda-1\} p^​(xi​)=exp{λ−1}
因为$\lambda$为常数，所以我们可以得到如下：
$$\widehat{p_1}=\widehat{p_2}=...=\widehat{p_N}=\frac{1}{k}\text{\hspace{1em}(22)}$$
结论：由此可得：当在无任何约束条件下的分布，如果要满足最大熵条件，那这个分布是均匀分布。

6.2满足已知事实的情况下的最大熵分布是指数族分布

已知：指数族分布的概率密度函数如下：
$$p(x_i|\eta )=h(x_i)exp[{\eta }^T\varphi (x_i)-A(\eta )]\text{\hspace{1em}(23)}$$
为了方便计算可简化成如下：
$$p(x_i|\eta )=\frac{1}{Z(\eta )}h(x_i)exp[{\eta }^T\varphi (x_i)]\text{\hspace{1em}(24)}$$
经验分布就是指的是一个已经发生的事实的一组数据；现在的问题是怎样用数学的方式来表达一个既定事实。
我们先定义一组基本数据集 D = { x 1 , x 2 , . . . , x N } D=\{x_1,x_2,...,x_N\} D={x1​,x2​,...,xN​}

经验分布的概率密度函数：

$$\hat{P}(X=x)=\hat{p}(x)=\frac{count(x)}{N}\text{\hspace{1em}(25)}$$

• $count(x):表示发生X=x事件的个数$
• $\hat{p}(x)是指X=x发生的概率大小$
  有了概率大小，有了x值，那么我们就能根据期望和方差的定义求出${\mathbb{E}}_{\hat{p}}[x],{\mathbb{D}}_{\hat{p}}[x]$,我们假设存在任意一组映射满足$y_i=f_{i}x$,即：
  $$f(x)=\left(\begin{array}{c}{f}_1(x)\\ f_2(x)\\ ⋮\\ f_Q(x)\end{array}\right)\text{\hspace{1em}(26)}$$
  由于我们知道了${\mathbb{E}}_{\hat{p}}[x],{\mathbb{D}}_{\hat{p}}[x]$，那么我们肯定求得如下值：
  $${\mathbb{E}}_{\hat{p}}[f(x_i)]={△}_i;注：{△}_i是已知事实\text{\hspace{1em}(27)}$$
  $${△}_i=\left(\begin{array}{c}{△}_1\\ {△}_2\\ ⋮\\ {△}_Q\end{array}\right)\text{\hspace{1em}(28)}$$
  且我们知道最大熵H(x)可表示如下：
  $$H(x)=-\sum _{x}p(x)\log p(x)\text{\hspace{1em}(29)}$$
  以上的最大值约束问题我们用拉格朗日乘子法转换成优化问题：

原始模型：
$$目标函数：argmin\sum _{x}p(x)\log p(x)\text{\hspace{1em}(30)}$$
$$约束条件(1)：\sum _{i=1}^{N}p(x)=1\text{\hspace{1em}(31)}$$
$$约束条件(2)：{\mathbb{E}}_p[f(x)]={\mathbb{E}}_{\hat{p}}[f(x)]=△\text{\hspace{1em}(32)}$$

用拉格朗日乘子法来求带约束的方程的极值：
$$L(p,\lambda ,{\lambda }_0)=\sum _{i=1}^{N}p(x_i)\log p(x_i)+{\lambda }_0(1-\sum _{i=1}^{N}p(x_i))+{\lambda }^T(△-{\mathbb{E}}_p[f(x)])\text{\hspace{1em}(33)}$$
注：${\mathbb{E}}_{\hat{p}}[f(x)])={\sum }_{x}p(x)f(x);\frac{\partial {\mathbb{E}}_{\hat{p}}[f(x)])}{\partial p(x)}=f(x)$

$L(p,\lambda ,{\lambda }_0)对p(x_i)求偏导可得：$

$$令：\frac{\partial L(p,\lambda ,{\lambda }_0)}{\partial p(x_i)}=0\text{\hspace{1em}(34)}$$

由于我们是对N个中的$X=x_i$进行求导，所以其他项为常数，其倒数为零；

$$\log p(x_i)+1-{\lambda }_0-{\lambda }^{T}f(x_i)=0\text{\hspace{1em}(35)}$$
p ^ ( x i ) = e x p { λ T f ( x i ) − ( λ 0 − 1 ) } (36) \hat{p}(x_i)=exp\{\lambda^Tf(x_i)-(\lambda_0-1)\}\tag{36} p^​(xi​)=exp{λTf(xi​)−(λ0​−1)}(36)
上式是不是很想我们通用的指数族分布：
$$p(x_i|\eta )=h(x_i)exp[{\eta }^T\varphi (x_i)-A(\eta )]\text{\hspace{1em}(37)}$$
<36>式类比于<37>中的$h(x_i)=1；\eta =\lambda ;A(\eta )={\lambda }_0-1$

结论：
$$在满足已知事实的情况下的最大熵分布是指数族分布！！！$$