在看LDA的时候,遇到的数学公式分布有些多,因此在这里总结一下思路。
一、伯努利试验、伯努利过程与伯努利分布
先说一下什么是伯努利试验:
维基百科伯努利试验中:
伯努利试验(Bernoulli trial)是只有两种可能结果的单次随机试验。
即:对于一个随机变量而言,P(X=1)=p以及P(X=0)=1-p。一般用抛硬币来举例。另外,此处也描述了伯努利过程:
一个伯努利过程(Bernoulli process)是由重复出现独立但是相同分布的伯努利试验组成,例如抛硬币十次。
维基百科中,伯努利过程的描述如下:
换言之,伯努利过程是一列独立同分布的伯努利试验。
伯努利分布(the Bernoulli distribution,又名两点分布或者0-1分布,是一个离散型概率分布。
记其成功概率为p(0≤p≤1),失败概率为q=1-p。
注意:此处描述的是在“一次”抛硬币,而不是多次。
二、(还不知道名字的分布)【存疑:看到名字了再来修改】
与伯努利分布对应,如果在一次实验中,出现的结果不是2种而是k种可能,则成为是:(还不知道名字的分布)。
常见例子:掷骰子(有多个可能结果)。
可以认为:伯努利分布是此分布在k=2时的特殊情况。
三、二项分布
二项分布:
在概率论和统计学中,二项分布是n个独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。实际上,当n = 1时,二项分布就是伯努利分布。
也就是说,单次抛硬币是伯努利分布,多次抛硬币是二项分布。二项分布中:
P(X=x|n,p)=Cxnpx(1−p)n−xP(X=x|n,p)=Cnxpx(1−p)n−x
即:抛硬币n次,得到x次为正面朝上的概率分布。(注意:虽然一般认为硬币是均匀的,这样硬币正面朝上的概率是0.5.但是,在抛硬币试验中,我们并不假设已经知道这种情况,而是假定对硬币正面朝上的概率完全未知)
四、多项分布
与二项分布之于伯努利分布相同,多项分布相当于进行n次(还不知道名字的分布