【机器学习基础】概率分布之指数族分布

本系列为《模式识别与机器学习》的读书笔记。

一，指数族分布

1，指数族分布基本概念

参数为 $\mathbf{\eta }$ 的变量 $\mathbf{x}$ 的指数族分布定义为具有下⾯形式的概率分布的集合：
p ( x ∣ η ) = h ( x ) g ( η ) exp ⁡ { η T μ ( x ) } (2.106) p(\boldsymbol{x|\eta}) = h(\boldsymbol{x})g(\boldsymbol{\eta})\exp \{\boldsymbol{\eta}^{T}\boldsymbol{\mu}(\boldsymbol{x})\}\tag{2.106} p(x∣η)=h(x)g(η)exp{ ηTμ(x)}(2.106)
其中 $\mathbf{x}$ 可能是标量或者向量， 可能是离散的或者是连续的。 这⾥ $\mathbf{\eta }$ 被称为概率分布的 ⾃然参数 （natural parameters），$\mathbf{\mu }(\mathbf{x})$ 是 $\mathbf{x}$ 的某个函数。函数 $g(\mathbf{\eta })$ 可以被看成系数，它确保了概率分布是归⼀化的，因此满⾜：
g ( η ) ∫ h ( x ) exp ⁡ { η T μ ( x ) } d x = 1 (2.107) g(\boldsymbol{\eta})\int h(\boldsymbol{x})\exp \{\boldsymbol{\eta}^{T}\boldsymbol{\mu}(\boldsymbol{x})\}\mathrm{d}\boldsymbol{x}=1\tag{2.107} g(η)∫h(x)exp{ ηTμ(x)}dx=1(2.107)
如果 $\mathbf{x}$ 是离散变量，那么上式中的积分就要替换为求和。

考虑伯努利分布：
$$p(x|\mu )=\text{Bern}(x|\mu )={\mu }^x(1-\mu {)}^{1-x}\text{\hspace{1em}(2.108)}$$

变形，有：

p ( x ∣ μ ) = exp ⁡ { x ln ⁡ μ + ( 1 − x ) ln ⁡ ( 1 − μ ) } = ( 1 − μ ) exp ⁡ { ln ⁡ ( μ 1 − μ ) x } (2.109) \begin{aligned} p(x|\mu) &= \exp \{x\ln \mu +(1-x) \ln (1-\mu)\} \\ &= (1-\mu)\exp \left\{\ln \left(\frac{\mu}{1-\mu}\right)x\right\}\end{aligned}\tag{2.109} p(x∣μ)​=exp{ xlnμ+(1−x)ln(1−μ)}=(1−μ)exp{ ln(1−μμ​)x}​(2.109)

对比公式(2.106)，可得：
$$\eta =\ln \left(\frac{\mu }{1-\mu }\right)$$

从而，有：
$$\begin{array}{rl}\mu & =\sigma (\eta )\\ & =\frac{1}{1+\exp (-\eta )}\end{array}\text{\hspace{1em}(2.110)}$$

被称为 logistic sigmoid函数。
因此，伯努利分布的指数族分布标准形式：
$$p(x|\mu )=\sigma (-\eta )\exp (\eta x)\text{\hspace{1em}(2.111)}$$
其中，
$$\begin{gathered} \mu (x)=x \\ h(x)=1 \\ g(\eta )=\sigma (-\eta ) \end{gathered}$$

考虑单⼀观测 $\mathbf{x}$ 的多项式分布，形式为：
$$p(\mathbf{x}|\mathbf{\mu })=\prod _{k=1}^K{\mu }_k^{x_k}=\exp \left\{\sum _{k=1}^K{x}_k\ln {\mu }_k\right\}\text{\hspace{1em}(2.112)}$$

其中 $\mathbf{x}=({\mathbf{x}}_1,\dots ,{\mathbf{x}}_M{)}^T$ 。把它写成公式(2.106)的标准形式，即：
$$p(\mathbf{x}|\mathbf{\mu })=\exp ({\mathbf{\eta }}^T\mathbf{x})\text{\hspace{1em}(2.113)}$$

其中，${\eta }_k=\ln {\mu }_k$ ，$\mathbf{\eta }=({\eta }_1,\dots ,{\eta }_M{)}^T$，并且
$$\begin{gathered} \mathbf{\mu }(\mathbf{x})=\mathbf{x} \\ h(\mathbf{x})=1 \\ g(\mathbf{\eta })=1 \\ \sum _{k=1}^K{\mu }_k=1 \end{gathered}$$

考虑只⽤ $M-1$ 个参数来表⽰这个分布，把 ${\mu }_M$ ⽤剩余的 { μ k } \{\mu_k\} { μk​} 表⽰，其中 $k=1,\dots ,M-1$，这样就只剩下了 $M-1$ 个参数，公式(2.112)变为：
$$\begin{array}{rl}p(\mathbf{x}|\mathbf{\mu })& =\exp \left\{\sum _{k=1}^K{x}_k\ln {\mu }_k\right\}\\ & =\exp \{\sum _{k=1}^{M-1}{x}_{}\end{array}$$