笔者最近在学习Bishop的PRML,由于本书十分的经典,因此准备好好研读,将其中理解的部分写成博客,加深印象和理解。同时在学习的过程中自身也遇到了很多数学上的问题,希望能和各位大佬们相互交流
首先要介绍的就是概率论中贝叶斯定理的推导。大家都知道贝叶斯定理就是
但是贝叶斯定理是怎么来的呢?PRML里有着贝叶斯定理的推理过程。
我们先看图1,这张图是两个随机变量X和Y的情况,其中X可以取值xi, i = 1,2,...M,Y可以取值yj,j=1,...L。考虑N次实验,对X和Y进行取样,把X=xi且Y=yj的试验的数量记作nij。把X取值xi(与Y的取值无关)的试验的数量记作ci,类似地把Y取值yj的试验的数量记作rj
图1 随机变量X和Y的图例
X取值xi并且Y取值Yj的概率被记作p(X=xi,Y=yj),这被叫做X=xi和Y=yj的联合概率,计算方法为