写在前面
《pattern recognition and machine learning,PRML》一直广受好评,全书从数学思想的方面介绍模式识别和机器学习,阅读之前需要一些数学只是,如果大学本科的数学(高等数学、概率和梳理统计、线性代数)还没完全忘记的话,阅读起来应该不是难事。另外一点,你需要静下心来慢慢读,细细品味(第一次读这本书的时候,读了几个章节就完全懵逼了 - -!)。这是第二次拿起来读,所写下的是书中的内容加上自己里面的部分。如有不正确的地方,还请路过大神指正。
从伯努利分布开始
伯努利分布(Bernoulli Distribution)是指一个随机事件要么发生要么不发生。假设一个二元随机变量
x∈{0,1}
,最常见的例子是投硬币,正面的向上的情况对应
x=1
,反面向上的事情对应
x=0
,但是这里,我们假设这一个硬币制造时出了问题,两面朝上的概率并不相等(不是常规认识的都等于
0.5
),我们设正面朝上的概率是
μ
,也就是:
p(x=1|μ)=u
那么,反面朝上则为:
p(x=0|μ)=1−p(x=1|μ)=1−μ
综上,投硬币的伯努利分布可以写成:
Bern(x|μ)=μx(1−μ)1−x
假设每一次投掷硬币都是相互独立的,则我们可见建立
μ
的似然函数:
p(D|μ)=∏n=1Np(xn|μ)=∏n=1Nμxn(1−μ)1−xn)
取对数得:
lnp(D|μ)=∑n=1N{xnln(μ)+(1−xn)ln(1−μ)}
其中
D
表示投掷硬币的所有事件集,按照最大释然估计解得:
μML=1N∑n=1Nxn=mN
m
表示正面朝上(
x=1)的次数。这边是频率学派的最大似然估计过程。倘若,我们现在有三次观察,且这三次都是正面朝上,那么
μML=1
,也就是说它会把以后的投掷结果都当成正确的,明显这是错误的结论。
伯努利的扩展——二项分布
对于伯努利分布的扩展,二项分布表示在
N
次实验当中,事件没事了m次,且每一次的实验符合伯努利分布,则可以写出二项分布可表示为:
Bin(m|N,μ)=(Nm)μm(1−μ)N−m
对于独立时间,加和的均值等于均值的加和,加和的方差等于方差的加和,所以,对于二项分布,期望、方差分别是:
E(x)=∑m=0Nm∗Bin(m|N,μ)=Nμ
Var(x)=∑m=0N(m−E(x))2Bin(m|N,μ)=Nμ(1−μ)
共轭分布
由前面提到的关于频率学派的最大似然估计的不足,先在我们假设为
μ
赋予一个先验
p(μ)
,如果我们能为
p(μ)
选择一个好的概率形式,则在计算后验时将会很方便。考虑二项分布的形式
μm(1−μ)N−m
,这里忽略了前面的常数,并不会为我们的讨论带来任何变化,如果我们的先验也具有这种形式,这后验的形式将会简单很多,这里我们选择
Beta
分布,
Beta
分布的形式是:
Beta(μ|a,b)=Γ(a+b)Γ(a)Γ(b)μa−1(1−μ)b−1
且有:
E(μ)=aa+b
Var(μ)=ab(a+b)2(a+b+1)
根据贝叶斯公式有:
p(μ|m,l,a.b)∝μm+a−1(1−μ)l+b−1
按照标准的
Beta
分布进行归一化后得:
p(μ|m,l,a,b)=Γ(m+l+a+b)Γ(m+a)Γ(l+b)μm+a−1(1−μ)l+b−1
其中
m
是
x=1的次数,
l
是
x=0的次数。根据概率的加和以及乘积规则,可以预测:
p(x=1|D)=∫10p(x=1|μ)p(μ|D)dμ=∫10μp(μ|D)dμ=E[μ|D]
即:
p(x=1|D)=m+am+a+l+b
当实验次数增多,即
m l
趋近于无穷时,上式便可忽略
a b
的影响,结果便是:
p(x=1|D)=mm+l=mN
,这和最大似然估计的结果并无差。而且当实验增多,后验概率会越来越稳定。
常见的共轭分布
Beta
分布是二项分布的共轭分布、狄利克雷分布是多项式分布的共轭分布、
总结
频率学派和贝叶斯学派的争论一直没有听过,两者看似不同,却速途同归,在不同的应用场景下,有各自的优势与合理性,PRML这个小结便是从最简单的例子讲述了频率学派某些场景下的不足,以及贝叶斯学派最后的统一,在这个过程中,引出了共轭分布,它旨在使最后的后验概率形式和先验相同,使分析大大简化和方便。