PRML 第二章 Beta分布

翻译 2016年05月31日 17:39:42

学习Beta分布之前,先补充一下几个相关的基础知识。
1. 共轭分布
如果后验分布和先验分布具有相同的函数形式,则先验和后验叫做共轭分布,并且先验叫做似然的共轭先验。
2. 超参数
当参数这里写图片描述为随机变量时,该参数分布中的参数就是超参数,简单的说就是参数的参数(超参数控制了参数的概率分布),在贝叶斯方法中出现的比较多。
3. Beta分布引入
现在假设我们扔一个硬币3次,碰巧3次都是正面朝上。那么N = m = 3,(m为正面向上的次数,N为实验的总次数)且这里写图片描述(见上一篇博客)。这种情况下,最大似然的结果会预测所有未来的观测值都是正面向上,常识告诉我们这个是不合理的。
为了⽤贝叶斯的观点看待这个问题,我们需要引⼊⼀个关于µ的先验概率分布p(µ)。为了数学形式上的一致和后续计算的方便,选择一个跟似然函数(这里写图片描述)具有函数形式一致性的先验概率,这样计算得到的后验分布(正⽐于先验和似然函数的乘积)就会具有与先验分布相同的函数形式(共轭分布)。因此,可以把先验分布选择为Beta分布。
4. Beta分布
Beta分布定义为:
这里写图片描述,其中为Gamma函数,当n为整数时有这里写图片描述.
Beta分布的均值和⽅差为:
这里写图片描述(1)
这里写图片描述
2016.6.6 补充:其实beta分布就是二项分布推广成实数域上的情况而已!
5.µ的后验概率
µ的后验概率分布现在可以这样得到:把Beta先验与⼆项分布的似然函数相乘,然后归⼀化。只保留依赖于µ的因⼦,我们看到后验概率分布的形式为:
这里写图片描述, 其中l = N − m,即对应于硬币“反⾯朝上”的样本数量。实际上,它仅仅是另⼀个Beta分布。通过与Beta分布对⽐,我们可以得到它的归⼀化系数。因此µ的后验概率分布:
这里写图片描述(*)
如果⼀个数据集⾥有m次观测为x = 1,有l次观测为x = 0,那么从先验概率到后验概率, a的值变⼤了m, b的值变⼤了l。这让我们可以简单地把先验概率中的超参数a和b分别看成x = 1和x = 0的有效观测数。注意, a和b不⼀定是整数。
6. 顺序学习方法
顺序⽅法每次使⽤⼀个观测值,或者每次使⽤⼀⼩批观测值,然后在使⽤下⼀个观测值之前丢掉它们。例如,顺序⽅法可以被⽤于实时学习的场景中。在实时学习的场景中,输⼊为⼀个稳定持续的数据流,模型必须在观测到所有数据之前就进⾏预测。由于顺序学习的⽅法不需要把所有的数据都存储到内存⾥,因此顺序⽅法对于⼤的数据集也很有⽤。
举例:如果我们的⽬标是尽可能好地预测下⼀次试验的输出,那么我们必须估计出给定观测数据集D的情况下, x的预测分布,即:
这里写图片描述
又因为:这里写图片描述
所以:这里写图片描述, 即为这里写图片描述的数学期望。
由公式(1)可以得到:这里写图片描述
如果我们接下来观测到更多的数据,那么后验概率分布可以扮演先验概率的⾓⾊。为了说明这⼀点,我们可以假想每次只取⼀个观测值,然后在每次观测之后更新当前的后验分布。更新⽅法是观测到⼀个x = 1仅仅对应于把a的值增加1,⽽观测到x = 0会使b增加1。同时我们可以看到,当观测的数量增加时,后验分布的图像变得更尖了。如果a → ∞或者b → ∞,那么⽅差就趋于零。即随着我们观测到越来越多的数据,后验概率表⽰的不确定性将会持续下降。
这里写图片描述

PRML读书会第二章 Probability Distributions(贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等)

第二章Probability Distributions的贝塔-二项式、狄利克雷-多项式共轭、高斯分布、指数族等很基础也很重要。...
  • Nietzsche2015
  • Nietzsche2015
  • 2015年02月03日 15:50
  • 2730

Beta分布从入门到精通

最近一直有点小忙,但是不知道在瞎忙什么,终于有时间把Beta分布的整理弄完。 下面的内容,夹杂着英文和中文,呵呵~ Beta Distribution Beta Distribution...
  • weixingstudio
  • weixingstudio
  • 2015年06月03日 17:38
  • 9633

概率分布之Beta分布与Dirichlet分布

Beta分布与Dirichlet分布的定义域均为[0,1],在实际使用中,通常将两者作为概率的分布,Beta分布描述的是单变量分布,Dirichlet分布描述的是多变量分布,因此,Beta分布可作为二...
  • jteng
  • jteng
  • 2017年03月04日 21:53
  • 1688

PRML 第二章 多项式分布

1.多项分布的一次事件 随机变量X有三种取值x1,x2,x3,那么用一个三维向量表示多项式的取值就是{1,0,0},{0,1,0},{0,0,1}分别代表选中x1,x2,x3,即必须选中一个,同时只...
  • u014333209
  • u014333209
  • 2016年06月05日 22:13
  • 148

二项分布和Beta分布

http://hyry.dip.jp/tech/slice/slice.html/42 本文通过实例介绍二项分布和Beta分布的含义,并使用pymc对抛硬币进行模...
  • sunmenggmail
  • sunmenggmail
  • 2013年12月06日 00:10
  • 20334

带你理解beta分布

相信大家学过统计学的都对 正态分布 二项分布 均匀分布 等等很熟悉了,但是却鲜少有人去介绍beta分布的。用一句话来说,beta分布可以看作一个概率的概率分布,当你不知道一个东西的具体概率是多少时,它...
  • a358463121
  • a358463121
  • 2016年09月17日 15:08
  • 9981

直观理解Beta分布

像正态分布、二项分布和均匀分布这样的一些分布,在统计学习当中往往会结合一些现实世界中的实际应用来解释,因此对于统计学的初学者来说也很容易清晰地理解这些分布。但是我发现Beta分布就很少会用这样可以凭直...
  • github_36299736
  • github_36299736
  • 2016年10月28日 10:31
  • 2620

Beta 分布的应用

从随机变量到顺序统计量考虑如下的游戏:有一个魔盒(随机数生成器),上有一个按钮,每按一下按钮,就均匀地输出一个 U∼[0,1]U\sim[0,1]之间的随机数,现在按上下,得到10个随机数,第7大的数...
  • lanchunhui
  • lanchunhui
  • 2016年01月19日 09:41
  • 918

Beta函数与Gamma函数及其与Beta分布的关系

相关函数在scipy.specialimport scipy.special as ss ss.beta(x1, x2)相关分布(概率密度)在scipy.statsimport scipy.stats...
  • lanchunhui
  • lanchunhui
  • 2015年12月20日 13:22
  • 4137

关于Beta分布、二项分布与Dirichlet分布、多项分布的关系

from:http://blog.csdn.net/u010140338/article/details/41344853 From : http://www.cnblogs.com/w...
  • Real_Myth
  • Real_Myth
  • 2015年08月14日 13:36
  • 1366
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:PRML 第二章 Beta分布
举报原因:
原因补充:

(最多只允许输入30个字)