概率之常用概率分布

最新推荐文章于 2023-01-09 22:20:40 发布

AJR_LY

最新推荐文章于 2023-01-09 22:20:40 发布

阅读量1.2k

点赞数

分类专栏：深度学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/u012119316/article/details/97266368

版权

深度学习专栏收录该内容

7 篇文章 0 订阅

订阅专栏

1. Bernoulli分布

单个二值随机变量的分布。它由单个参数 $\small \phi \in [0,1]$ 控制， $\small \phi$ 给出了随机变量等于1的概率。它具有如下的一些性质。

$\small P(x=1)=\phi$

$\small P(x=0)=1-\phi$

$\small P(\mathrm x = x) = \phi ^x (1 - \phi)^{1-x}$

$\small E_x[x] = \phi$

$\small Var_x(x) = \phi (1 - \phi)$

2. Multinoulli分布

Multinoulli分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有k个不同状态的单个离散型随机变量上的分布，其中k是一个有限值。

3. 高斯分布

高斯分布(Gaussian distribution)也称为正态分布(normal distribution)：

$\small \mathcal N (x; \mu, \sigma ^2) = \sqrt {\frac{1}{2\pi \sigma ^2}} exp (-\frac{1}{2 \sigma ^2} (x - \mu) ^ 2)$

正态分布由两个参数控制， $\small \mu \in \mathbb R, \sigma \in (0, \infty)$ 。参数 $\small \mu$ 给出了中心峰值的坐标即期望值E[x]，分布的标准差用 $\small \sigma$ 表示，方差用 $\small \sigma ^2$ 表示。为表示方便，令 $\small \beta = \frac{1}{\sigma ^2}, \beta \in (0, \infty)$ ,上式可写成如下形式：

$\small \mathcal N(x; \mu, \beta ^{-1}) = \frac{\beta}{2\pi} exp (-\frac{1}{2} \beta(x - \mu) ^ 2)$

当我们缺乏关于某个实数上分布的先验知识而不知道该选择怎样的形式时，正态分布是默认的比较好的选择。原因有如下两个：

1. 我们想要建模的很多分布的真实情况是比较接近正态分布的。

2. 在具有相同方差的所有可能的概率分布中，正态分布在实数上具有最大的不确定性。

正态分布可以推广到 $\small \mathbb R^n$ 空间，这种被称为多维正态分布(multivariate normal distribution)。它的参数是一个正定对称矩阵 $\small \Sigma$ :

$\small \mathcal N(x; \mu, \Sigma) = \sqrt{\frac{1}{(2\pi)^n det(\Sigma))}} exp (-\frac{1}{2}(x - \mu)^{\top} \Sigma ^ {-1} (x - \mu))$

参数 $\small \mu$ 仍然表示的是分布的均值，只不过不再是标量而是一个向量值。参数 $\small \Sigma$ 给出了分布的协方差矩阵。令 $\small \beta = \Sigma ^ {-1}$

$\small \mathcal N(x; \mu, \beta ^ {-1}) = \sqrt{\frac{det(\beta)}{(2\pi)^n}} exp (-\frac{1}{2}(x - \mu)^{\top} \beta (x - \mu))$

4. 指数分布和Laplace分布

指数分布(exponential distribution):

$\small \begin{center} p(x;\lambda) = \lambda1_{x \geq 0} exp(- \lambda x) \end{center}$

指数分布用指示函数(indicator function) $\small 1_{x \geq 0}$ 来使得当x取负值时的概率为零。

一个联系紧密的概率分布是Laplace分布，它允许我们在任意一点 $\small \mu$ 处设置概率质量的峰值：

$\small Laplace(x; \mu, \gamma) = \frac{1}{2 \gamma} exp (- \frac{|x - \mu|}{\gamma})$

5. Dirac分布和经验分布

在一些情况下，我们希望概率分布中的所有质量都集中在一个点上。这可以通过Dirac delta函数(Dirac delta function)定义概率密度函数来实现：

$\small p(x) = \delta(x - \mu)$

Dirac分布经常作为经验分布(empirical distribution)的一个组成部分出现：

$\small \hat{p}(x) = \frac{1}{m} \sum_{i=1}^{m} \delta(x - x^{(i)})$

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。