常见概率分布（一）

最新推荐文章于 2021-11-03 16:31:31 发布

XiaomengYe

最新推荐文章于 2021-11-03 16:31:31 发布

阅读量1.3k

点赞数

分类专栏：概率与统计

本文链接：https://blog.csdn.net/xiaomeng29/article/details/88181869

版权

概率与统计专栏收录该内容

1 篇文章 0 订阅

订阅专栏

在机器学习领域有一些常用的概率分布需要我们熟悉，下面我们对这些分布做一下总结。

1. 伯努利分布以和二项分布

考虑随机变量 $x \in \left \{ 0,1 \right \}$ ，对应抛一枚硬币（不一定均匀），当硬币正面朝上取1, 反面朝上取0。如果 x = 1 的概率记为 $\mu$ ，则 $p(x = 1|\mu) = \mu$ ，很明显 $p(x = 0|\mu) = 1- \mu$ ，所以概率分布可以表示为：

$Bern(x|\mu) = \mu^x(1-u)^{1-x}$

我们把这种分布称为伯努利分布。易证，伯努利分布的均值和方差分布为 $E[x] = \mu$ ， $Var[x] = \mu(1-\mu)$ 。伯努利分布属于指数族分布。

如果我们抛 N 次硬币，将正面朝上的次数 m 作为随机变量，那分布是什么样的呢？我们把该类分布称为二项分布，其过程即把伯努利分布重复 N 次，x = 1 发生的次数为m，由此，我们容易得出概率分布：

$Bin(x|\mu) = C_N^m \mu^m(1-\mu)^{N-m}$

易证，二项分布的均值和方差分别为 $E[x] = N\mu$ ， $Var[x] = N\mu(1-\mu)$ 。二项分布属于指数族分布。

2. Beta分布

二项分布属于指数族分布，其必有共轭先验，即Beta分布。其概率分布为：

$Beta(\mu|a,b)= \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}$

将Beta分布和二项分布相乘，可以发现

$p(\mu|m,l,a,b) \propto \mu^{m+a+1}(1-\mu)^{l+b-1}$

即后验概率仍然属于Beta分布，这也验证了Beta分布是二项分布的共轭先验。Beta分布的均值和方差分别为 $E[\mu] = \frac{a}{a + b}$ ， $Var[\mu] = \frac{ab}{(a + b)^2(a+b+1)}$ 。

3. Categorical分布和多项式分布

第一小节中，伯努利分布随机变量是二元的。如果拓展到多元的情况，比如随机变量可以取 K 个离散的值，我们把该类分布称为Categorical分布。和伯努利分布随机变量表示方法不同，为了方便表达，我们使用“1-of-K”表示法。这种表示法中随机变量x被表示为一个K维向量x，向量中的一个元素 x_k 等于1，剩余的元素都为0。例如，随机变量可以取 6 个离散的值，即 K = 6，如果随机变量取第三个离散值，则

$\textbf{x} = (0,0,1,0,0,0)^T$

如果我们用 $\mu_k$ 表示 x_k = 1 的概率， $\mu = (\mu_1, \mu_2, ..., \mu_k)^T$ ，则x的分布为：

$Cate(\textbf{x}|\mu) = \prod_{i=1}^K \mu_k^{x_k}$

Categorical分布期望为 $E[\textbf{x}| \mu] = \mu$ 。

和伯努利分布类似的，将Categorical分布实验重复N次，可以得到多项式分布（Multinomial distribution）：

$Mult(m_1, m_2,...,m_k| \mu, N) = \left ( \begin{matrix} N \\ m_1, m_2,...,m_k \end{matrix} \right )\prod_{i=1}^K \mu_k^{m_k}$

其中， $\sum_{i=i}^K m_k = N$ 。

4. 狄利克雷分布（Dirichlet distribution）

狄利克雷分布是多项式分布的共轭先验分布，其可以表示为：

$Dir(\mu|\alpha) = \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)...\Gamma(\alpha_k)} \cdot \prod_{k=1}^K\mu_k^{\alpha_k - 1}$

其中 $\alpha = (\alpha_1,...,\alpha_k)$ ， $\alpha_0 = \sum_{k=1}^K\alpha_k$ 。可以从形式上看出我们把狄利克雷分布叫做分布的分布，是有道理的，因为如果 $\mu_k$ 是确定的我们可以得到一组Categorical分布，但是 $\mu_k$ 本身是服从狄利克雷分布的。

参考文献：

[1] Pattern Recognition and Machine Learning

XiaomengYe

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
常见概率分布（一）

在机器学习领域有一些常用的概率分布需要我们熟悉，下面我们对这些分布做一下总结。1. 伯努利分布以和二项分布考虑随机变量，对应抛一枚硬币（不一定均匀），当硬币正面朝上取1, 反面朝上取0。如果 x = 1 的概率记为，则，很明显，所以概率分布可以表示为：我们把这种分布称为伯努利分布。易证，伯努利分布的均值和方差分布为，。伯努利分布属于指数族分布。如果我们抛 N 次硬币，将正面...
复制链接

扫一扫

专栏目录