关闭

概率论:常见概率分布

标签: 概率论概率分布
8325人阅读 评论(0) 收藏 举报
分类:

http://blog.csdn.net/pipisorry/article/details/39076957

常见离散概率分布

Bernoulli、Binomial、Poisson

统计学(三):几种常见的概率分布

伯努利分布

对单次抛硬币的建模,X~Bernoulli(p)的PDF为


随机变量X只能取{0, 1}。

对于所有的pdf,都要归一化!而对于伯努利分布,已经天然归一化了,因此归一化参数就是1。

现在我们假设我们有一个 x 的观测值的数据集 D = {x 1 , . . . , x N } 。假设每次观测都是独立地从 p(x | μ) 中抽取的,因此我们可以构造关于 μ 的似然函数如下

mle得出 μ = m/N。

二项分布

很多次抛硬币的建模就是二项分布了。二项分布是n次独立的伯努利试验的和(故根据中心极限定理可知,二项分布的极限分布为高斯分布)。它的期望值和方差分别等于每次单独试验的期望值和方差的和。

注意二项分布有两个参数,n和p,要考虑抛的次数。

二项分布的取值X一般是出现正面的次数,其PDF为:


2.10就是二项分布pdf的归一化参数。

mle式2.9亦得出μ = m/N,故式 2.5和式2.9是等价的。lz:二项分布相当于是通过伯努利分布直接构造出的似然函数(没有归一化)的归一化分布。

beta分布

如果是beta分布,把归一化项换成beta函数分之一即可,这样可以从整数情况推广为实数情况。所以beta分布是二项分布的实数推广!


多项式分布Multinomial

多项分布则更进一层,抛硬币时X只能有两种取值,当X有多种取值时,就应该用多项分布建模。

这时参数p变成了一个向量p⃗ =(p1,…,pk)表示每一个取值被选中的概率,那么X~Multinomial(n,p)的PDF为:

f(x)=P(x1, , xk|n,p⃗ )=(nx1, , xk)px11pxkk=n!ki=1xi!pxix

二元变量可以用来描述只能取两种可能值中的某一种这样的量。然而,我们经常会遇到可以取 K 个互斥状态中的某一种的离散变量。虽然有多种方式来表达这种变量,但是我们稍后会看到,一种比较方便的表示方法是“1- of - K ”表示法。这种表示方法中,变量被表示成一个 K 维向量 x ,向量中的一个元素 x k 等于1,剩余的元素等于0。例如,如果我们有一个能够取 K = 6 种状态的变量,这个变量的某次特定的观测恰好对应于 x 3 = 1 的状态,那么 x 就可以表示为x = (0, 0, 1, 0, 0, 0) T。注意,这样的向量满足∑ xk=1

我们可以考虑 m 1 , . . . , m K 在参数 μ 和观测总数 N 条件下的联合分布。根据似然函数,这个分布的形式为

归 一 化 系 数 是 把 N 个 物 体 分 成 大 小为 m 1 , . . . , m K 的 K 组的方案总数,定义为

注意, m k 满足下面的限制


或者通过概率直接推出


皮皮blog



常见连续概率分布


常见的概率分布_文库下载http://www.wenkuxiazai.com/doc/e14db3d233d4b14e852468c0.html

常见的概率分布_文库下载http://www.wenkuxiazai.com/doc/e14db3d233d4b14e852468c0.html

常见的连续分布的概率密度函数和累积分布度函数:

均匀分布

指数分布

正态分布与卡方分布

统计学(三):几种常见的概率分布

[概率论:高斯分布]

Beta分布

拉普拉斯分布 Laplace Dist

在概率论与统计学中,拉普拉斯分布是以皮埃尔-西蒙·拉普拉斯的名字命名的一种连续概率分布。由于它可以看作是两个不同位置的指数分布背靠背拼接在一起,所以它也叫作双指数分布。当数据分布的波峰比正态分布更尖锐时使用 Laplace 分布。例如,Laplace 分布用于生物、金融和经济学方面的建模。

两个相互独立同概率分布指数随机变量之间的差别是按照指数分布的随机时间布朗运动,所以它遵循拉普拉斯分布。

拉普拉斯分布概率密度图  拉普拉斯分布累积概率密度图

概率密度函数                                                                                         累积分布函数

概率分布、概率密度以及分位数函数

如果随机变量的概率密度函数分布为

f(x|\mu,b) = \frac{1}{2b} \exp \left( -\frac{|x-\mu|}{b} \right) \,\!
    = \frac{1}{2b}    \left\{\begin{matrix}      \exp \left( -\frac{\mu-x}{b} \right) & \mbox{if }x < \mu      \\[8pt]      \exp \left( -\frac{x-\mu}{b} \right) & \mbox{if }x \geq \mu    \end{matrix}\right.

那么它就是拉普拉斯分布。其中,μ 是位置参数,b > 0 是尺度参数。如果 μ = 0,那么,正半部分恰好是尺度为 1/2 的指数分布。

拉普拉斯分布的概率密度函数让我们联想到正态分布,但是,正态分布是用相对于 μ 平均值的差的平方来表示,而拉普拉斯概率密度用相对于平均值的差的绝对值来表示。因此,拉普拉斯分布的尾部比正态分布更加平坦

根据绝对值函数,如果将一个拉普拉斯分布分成两个对称的情形,那么很容易对拉普拉斯分布进行积分。它的累积分布函数为:

F(x)\,= \int_{-\infty}^x \!\!f(u)\,\mathrm{d}u
    = \left\{\begin{matrix}             &\frac12 \exp \left( -\frac{\mu-x}{b} \right) & \mbox{if }x < \mu             \\[8pt]             1-\!\!\!\!&\frac12 \exp \left( -\frac{x-\mu}{b} \right) & \mbox{if }x \geq \mu            \end{matrix}\right.
 =0.5\,[1 + \sgn(x-\mu)\,(1-\exp(-|x-\mu|/b))]

逆累积分布函数为

F^{-1}(p) = \mu - b\,\sgn(p-0.5)\,\ln(1 - 2|p-0.5|)

拉普拉斯分布的数字特征

参数\mu\, 位置参数(实数)
b > 0\, 尺度参数(实数)
支撑集x \in (-\infty; +\infty)\,
概率密度函数\frac{1}{2\,b} \exp \left(-\frac{|x-\mu|}b \right) \,
期望值\mu\,
中位数\mu\,
众数\mu\,
方差2\,b^2
偏度0\,
峰度3\,
信息熵1 + \ln(2\,b)
动差生成函数\frac{\exp(\mu\,t)}{1-b^2\,t^2}\,\! for |t|<1/b\,
特性函数\frac{\exp(\mu\,i\,t)}{1+b^2\,t^2}\,\!

拉普拉斯分布的性质

  • 如果 Y = |X-\mu| 并且 X \sim \mathrm{Laplace},则 Y \sim \mathrm{Exponential}指数分布
  • 如果 Y = X_1 - X_2X_1,\, X_2 \sim \mathrm{Exponential},则 Y \sim \mathrm{Laplace}

[wikipedia 拉普拉斯分布]

Gaussian-Exponential Mixture

laplace分布可以看成是高斯分布和指数分布的混合体。

[]

from: http://blog.csdn.net/pipisorry/article/details/3907695

ref: [PRML]


1
0
查看评论

概率分布

概率在机器学习中起着重要的作用,概率表示的是事件发生的频率。偏频派认为,事情发生的概率是固定的,给与的样本越多,求得的概率的正确率越高。而贝叶斯派则认为,事情发生的概率是服从一定分布的,是不确定的。
  • lin360580306
  • lin360580306
  • 2016-04-23 23:04
  • 9488

常见的几种概率分布

常见的几种概率分布
  • u013146882
  • u013146882
  • 2017-06-10 18:02
  • 1109

常用随机变量及其概率分布

一、常用的离散型随机变量及其概率分布 1、(0-1)分布(伯努利分布(Bernoulli distribution)、两点分布) 如果随机变量X 只可能取0与1两个值,其概率分布为: 或写成 则称随机变量X 服从(0-1)分布或两点分布.它的概率分布也可以写成 2、二项分布 在...
  • jlulxg
  • jlulxg
  • 2017-05-20 10:20
  • 612

常见概率分布及在R中的应用

常见概率分布及在R中的应用 转载 :http://eyejava.iteye.com/blog/324189 常见概率分布及在R中的应用 博客分类:  BI QtF#PHP    R提供工具来计算累计分布函数p(cu...
  • baidu_34604003
  • baidu_34604003
  • 2016-08-06 23:20
  • 2635

常见的连续概率分布

常见的连续概率分布:高斯分布,拉普拉斯分布....
  • Lehyu
  • Lehyu
  • 2016-09-22 15:24
  • 830

统计学:离散型和连续型随机变量的概率分布

1. 离散型和连续型随机变量的定义离散型随机变量(discrete random variable):取值是可数的个值的随机变量, 比如投掷一枚骰子的朝上的点数,可能是1,2,3,4,5,6;比如南京大学四食堂吃饭的人数,可能是0,1,2···。 连续型随机变量(co...
  • moxigandashu
  • moxigandashu
  • 2016-05-18 11:16
  • 9931

概率论中的常见分布

本文是在学习概率论时的一些笔记和想法,写下此文作为自己的一个整理。限于本人的学识有限,如若有疏漏,请谅解。
  • xholes
  • xholes
  • 2016-09-22 15:56
  • 1768

概率论中几种常见的分布形式(二项分布,均匀分布和指数分布)

以下内容只是acm中涉及的简要概率论知识 ----------------------------------------------------------二项分布----------------------------------------------------------------...
  • qq_24451605
  • qq_24451605
  • 2015-03-07 11:16
  • 4587

概率论 基本概率模型、分布、期望和方差

这段时间校招,发现很多笔试都是概率论的题目,拿出课本写下来总结(不涉及组合和数理统计)。基本概念等可能概型(古典概型)特点 试验的样本空间只包含有限个元素; 试验中每个基本事件发生的可能性相同。 公式设试验的样本空间为S={e1,e2,e3,…,en}\{e_1,e_2,e_3,\dots ,e_...
  • Yano_nankai
  • Yano_nankai
  • 2015-10-03 20:36
  • 7393

数理统计中常用函数、概率分布函数总结

Happiness is to find someone who can give you warm and share your life together. 幸福就是找一个温暖的人过一辈子。 数理统计中常用函数、概率分布函数总结克罗内克函数(Kornecker delta)δ(n)={...
  • DreamHome_S
  • DreamHome_S
  • 2017-10-18 17:19
  • 492
    个人资料
    • 访问:3654033次
    • 积分:30760
    • 等级:
    • 排名:第194名
    • 原创:569篇
    • 转载:30篇
    • 译文:5篇
    • 评论:317条
    Welcome to 皮皮blog~

    博客专栏
    最新评论