(番外篇1) 贝叶斯超参数的确定方法(附自适应搜索法、牛顿迭代法和二分查找法的python实现)

(番外篇1) 贝叶斯超参数的确定方法(附自适应搜索法、牛顿迭代法和二分查找法的python实现)

背景说明

• 在贝叶斯统计中，总体分布的参数$\theta$不再被视为一个未知的常数处理，而是认为参数$\theta$也有一个分布，事实上，由于$\theta$是未知的不确定的东西，因此用概率分布的语言来描述是很有优势的。
• 参数$\theta$一般需要先综合已有信息，确定好先验分布$\pi (\theta )$，然后利用新进的样本信息进行更新，从而得到后验分布$\pi (\theta |x)$，这个过程中如果$\pi (\theta )$与$\pi (\theta |x)$仍然是同一种分布，则称$\pi (\theta )$是总体分布参数$\theta$的共轭先验分布，共轭先验分布具有很好的性质，体现在计算简单和具备可解释性上。
• 常用的共轭先验分布有

总体分布	参数	共轭先验分布
二项分布	发生概率	贝塔分布
正态分布	均值	正态分布
正态分布	方差	倒伽马分布
泊松分布	均值	伽马分布
指数分布	均值倒数	伽马分布

• 我们知道，二项分布在现实中是广泛存在的，因此当我们选择其先验分布为贝塔分布$Be(\alpha ,\beta )$时(共轭)，我们还需要给其两个参数赋予初始值，这就是超参数确定问题。

确定超参数的几个方法

1. 利用先验矩
2. 利用先验分位数
3. 利用先验矩和先验分位数
4. 其他方法

一个实例：二项分布参数p的超参数确定

思路分析

根据上文所讲的，二项分布的共轭先验分布为$Be(\alpha ,\beta )$，我们将采用3. 利用先验分位数来确定。
我们根据先验信息，知道了$\theta$的两个分位数，比如为上下四分位数${\theta }_L$和${\theta }_U$，因此可以得到两个方程式：
$$\begin{array}{rl}& {\int }_0^{{\theta }_L}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}d\theta =0.25\\ & {\int }_0^{{\theta }_u}\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}d\theta =0.75\end{array}$$