Beta-Binomial 共轭

接上文认识 Beta 分布.

上文通过一个简单的小游戏，我们最终得到Beta分布的概率密度：

$$B(x|\alpha, \beta)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}$$
Beta分布对应的一个现实中的例子为， $\alpha=k,\beta=n-k+1$， $B(x|\alpha,\beta)$表示 $n$个独立的服从0-1均匀分布（$U[0,1]$）的随机变量，第 $k$大的随机变量的概率分布。也即：
$$\begin{split} B(X_{(n,k)}|\alpha=k,\beta=n-k+1)=&\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha-1}(1-x)^{\beta-1}\\ =&\frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k} \end{split}$$

回到游戏上来：

$$f(X_{n=10,k=7})=\frac{10!}{6!3!}x^6(1-x)^3$$
假如我们第一次没有猜中，此时，游戏的发起者说：“让仁慈的我，给你 一些提示（先验），让请你按5次，获得5个 $[0,1]$之间的随机数，然后我可以告诉你这五个数中的每一个和前面得到的10个数中第7大的数相比，谁大谁小，然后请你继续猜第7大的数是多少”。

此时问题抽象为数学表达即为：
1. $X_1,X_2,\ldots,X_n$ 独立同分布于 $U[0,1]$，排序后对应的顺序统计量为 $X_{(1)},X_{(2)},\ldots,X_{(n)}$，我们感兴趣的猜测是 $p=X_{(k)}$
2. $Y_1,Y_2,\ldots,Y_m$独立同分布于 $U[0,1]$，其中 $m_1$个比 $p$小，$m_2$个比$p$大
3. 问 $P(p|Y_1,Y_2,\ldots,Y_m)$的分布是什么？

由于 $p=X_{(k)}$在$X_1,X_2,\ldots,X_n$中是第 $k$大的，利用$Y_i$的信息，我们容易得到 $p=X_{(k)}$在$X_1,X_2,\ldots,X_n,Y_1,Y_2,\ldots,Y_m$这 $(m+n)$个独立同 $U[0,1]$的随机变量中第 $m_1+k$大的，于是按照之前的上篇博客得到的结论，此时 $p=X_{(k)}$的概率密度函数为 $Beta(p|\alpha=m_1+k,\beta=n+m-m_1-k+1=n+m2+1-k)$，按照贝叶斯推理（Bayesian inference）的逻辑，我们把以上变量或者记号与贝叶斯推理上下文下的说法做对应：

1. $p=X_{(k)}$是我们要推测的参数，我们推导出 $p$的分布为 $f(p)=\Beta(p|\alpha=k,\beta=n-k+1)$，称为 $p$的先验分布；
2. 数据 $Y$中有 $m_1$个比 $p$小，有$m_2$个比 $p$大，相当于对 $Y$做 $m$次伯努利试验，所以 $m_1$服从二项分布 $B(m,p)$
3. 在给定了来自数据提供的 $(m_1,m_2)$的知识后，$p$的后验分布变为$f(p|m_1,m_2)=B(p|\alpha=m_1+k,\beta=n+m_2+1-k)$

等等，也即是服从二项分布的先验与服从Beta分布的似然相互作用得到了服从beta分布的后验。这是什么呀？共轭分布呗。