再来总结下贝叶斯参数估计,分为以下几部分:
1. 先说说贝叶斯参数估计
2. 再说说层次型模型,指的就是超参数(Hyper parameter)的选择
3. 用R+stan的Hamiltonian MC把这些参数(数据分布的参数和超参数)都采出来
这里我们用一个例子来演示怎么估计参数。
我们使用一个人工的数据,每天超市里一件商品的销售量y。
生成数据的R代码:
nSamples <- 5000;
theta <- rgamma(nSamples,5,1)
y <- rpois(nSamples, theta)
超参数 α 即shape 为5 β 即scale为1 生成了5000个样本
先说说第一个问题
什么是贝叶斯参数估计
先说说贝叶斯参数估计的时候用的贝叶斯定理:
p(θ|y)=p(y|θ)p(θ)/p(y)∝p(y|θ)p(θ)
这里 p(θ|y) 是后验概率 p(y|θ) 是统计模型也叫似然 p(θ) 是先验概率。
参数估计估计的就是这个 θ ,要区别的是如果求 p(y|θ) 的最大值就是MLE(Maxium Likelihood Estimation),求 p(θ|y) 的最大值就是MAP (Max A Posterior)。MAP不能算是贝叶斯估计,因为它没有整合所有的不确定性。
本文的例子是一个计数的例子,应该使用泊松分布来作为似然。即:
y∼poisson(θ|n)
其中 θ 是泊松分布的参数,n是实验次数。然后是先验,这里选择gamma分布作为参数的先验,即: