beta分布及共轭Bernoulli分布-先验、后验、预测分布

beta分布介绍

如下为beta分布的形式，其分布有两个参数， $\alpha$和$\beta$。其分布形式如下

其中，

$\Gamma（x）$ 是Gamma函数。其中beta分布定义域为【0，1】

$$\int_0^1 {p(p|\alpha,\beta)} \,{\rm d}p=1$$

可以看出

$$\int_0^1 {p^{\alpha-1}}{(1-p)^{\beta-1}} \,{\rm d}x=B( \alpha,\beta)$$

Bernoulli实验

伯努利试验(Bernoulli experiment)是在同样的条件下重复地、相互独立地进行的一种随机试验。其特点是该随机试验只有两种可能结果：发生或者不发生。如下，发生的概率为$p$，不发生的概率为$p-1$。一次Bernoulli实验对应的形式为：

比如掷硬币，这里定义 $c=1$ 表示正面向上,否则 $c=0$ 表示反面向上。

共轭

在做贝叶斯估计时，有

即后验分布 = 似然函数* 先验分布/ P(X)。

之所以采用共轭先验的原因是可以使得先验分布和后验分布的形式相同，这样计算起来就较为方便。为了使得先验分布和后验分布的形式相同，我们定义：如果先验分布和似然函数可以使得先验分布和后验分布有相同的形式，那么就称某参数的共轭先验分布。
一般性的定义如下：设$\theta$为总体分布中的参数（或参数向量），$\pi \left ( \theta \right )$为先验的概率密度函数，加入由抽取的信息计算得到的后验概率密度函数与$\pi \left ( \theta \right )$具有相同的函数形式，则称$\pi \left ( \theta \right )$为$\theta$的共轭先验分布。
需要指出，共轭先验分布是对某一分布的参数而言的，如正太分布的均值、正太分布的方差，离开指定参数以及所在的分布去谈共轭先验分布式没有任何意义的。

如下，还以掷硬币为例，我们依据已有的样本来推测正面向上的概率$p$。基于贝叶斯公式可知其后验概率如下：

可以看出推测的后验概率公式与先验形式一致。

同时，我们还能计算得到分母$p(x)$,如下面的式子：

利用上面两个式子便可以预测下一次正面向上的概率。

期望与方差

在beta-Bernoulli process中也有应用

参考论文：Heinrich G. Parameter estimation for text analysis[J]. University of Leipzig, Tech. Rep, 2008.

An introduction to Bayesian nonparametrics Lecture 2: The Indian buffet process