贝叶斯估计是概率密度函数估计中的一种主要的参数估计方法,其结果在很多情况下和最大似然估计方法相同。
两者的根本区别是:
1)最大似然估计是把待估计的参数当作未知的固定值而不是变量,所做的是根据观测数据来估计这个量的取值;
2)贝叶斯估计把参数本身看作是随机变量,要做的是根据观测数据来估计参数的分布。把参数的估计问题看成是一个在连续数值空间里的贝叶斯决策问题。
设:待估计的参数 θ 是具有先验分布密度 p(θ) 的随机变量,样本集 χ={ x1,x2,…,xN} ,最优的 θ=θ∗ 。
在贝叶斯决策中,我们有两种决策规则:最小错误率规则和最小风险规则。假设我们将 θ 估计成 θ^ 的损失函数为 λ(θ^,θ) , x 的取值空间是
R(θ^|x)=∫Θλ(θ^,θ)p(θ|x)dθ
则在所有样本 χ 上用 θ^ 来估计的总风险就是:
R=∫Ed∫Θλ(θ^,θ)p(x,θ)dθdx=∫Ed∫Θλ(θ^,θ)p(θ|x)p(x)dθdx=∫EdR(θ^|x)p(x)dx
根据贝叶斯决策,我们现在希望 R 最小,而积分中各项都为非负,故等价于对所有的
θ∗=argminθ^R(θ^|x)=∫Θλ(θ^