exponential family distribution（指数族分布）

最新推荐文章于 2024-04-22 16:27:31 发布

五道口纳什

最新推荐文章于 2024-04-22 16:27:31 发布

阅读量4.7k

点赞数

分类专栏：概率-统计

本文链接：https://blog.csdn.net/lanchunhui/article/details/54287606

版权

概率-统计专栏收录该内容

74 篇文章 20 订阅

订阅专栏

1. exponential family

给定参数 $\boldsymbol \eta$ ，关于 $\mathbf x$ 的指数族分布定义为如下的形式：

p (x ∣ ∣ η) = h (x) g (η) exp {η T u (x)}

$p\left(\mathbf x\big |\boldsymbol \eta\right)=h\left(\mathbf x\right)g\left(\boldsymbol \eta\right)\exp\left\{\boldsymbol \eta^Tu\left(\mathbf x\right)\right\}$

其中 $\mathbf x$ 可以为标量也可以为矢量，可以为离散也可是连续。其中 $\boldsymbol \eta$ 被称为分布的自然系数（natural parameters），

g (η) \int h (x) exp {η T u (x)} d x = 1

$g\left(\boldsymbol \eta\right)\int h\left(\mathbf x\right)\exp\left\{\boldsymbol \eta^Tu\left(\mathbf x\right)\right\}d\mathbf x=1$

2. 以指数分布的眼光看其他分布

伯努利分布（Bernoulli Distribution，也叫 0-1 分布）：

伯努利分布的基本形式为（其中 $\mu$ 为事件可能发生的概率， $x$ 的取值为 0 或 1）：

$p (x ∣ ∣ μ) = μ x (1 - μ) 1 - x$ $p\left(x\big |\mu\right)=\mu^x \left(1-\mu\right)^{1-x}$

我们将其化为指数分布的形式：

$p (x ∣ ∣ μ) = Bern (x ∣ ∣ μ) = = e ln (μ x (1 - μ) 1 - x) (1 - μ) exp {x ln (μ 1 - μ)}$ $\begin{split} p\left(x\big |\mu\right)=\text{Bern}\left(x\big |\mu\right)=&e^{\ln \left({\mu^x \left(1-\mu\right)^{1-x}}\right)}\\ =&\left(1-\mu\right)\exp\left\{x\ln\left(\frac{\mu}{1-\mu}\right)\right\} \end{split}$

将其与指数族的基本形式相对照，现指定 $\eta=\ln\left(\frac{\mu}{1-\mu}\right)$ ，因此 $\mu$ 是关于 $\eta$ 的函数，不妨设 $\mu=\sigma\left(\eta\right)$ ，则可得：

$μ = σ (η) = 1 1 + e - η$ $\mu=\sigma\left(\eta\right)=\frac1{1+e^{-\eta}}$

这就是 logistic sigmoid 函数；