文章目录
一、点估计
1.1条件方法
后验分布 π ( θ ∣ x ) \pi(\theta|{\pmb x}) π(θ∣xxx)集中了抽样信息( x \pmb x xxx) 和 先验信息( π ( θ ) \pi(\theta) π(θ)) 中关于 θ \theta θ的所有信息。所有关于 θ \theta θ的点估计、区间估计和假设检验将从后验分布中提取。
条件观点:基于后验分布的统计推断意味着只考虑已出现的数据(样本观测值),认为和未出现的值无关,相应的方法称为“条件方法”,与我们熟悉的“频率方法”之间有很大区别。
例如,经典统计学认为参数 θ \theta θ的无偏估计 θ ^ ( X ) \hat{\theta}(\pmb X) θ^(XXX)应该满足:
E [ θ ^ ( X ) ] = ∫ X θ ^ ( x ) p ( x ∣ θ ) d x = θ , E[\hat{\theta}(\pmb X)]=\int_{\mathscr X}\hat{\theta}(\pmb x)p(\pmb x|\theta)\text{d}\pmb x=\theta, E[θ^(XXX)]=∫Xθ^(xxx)p(xxx∣θ)dxxx=θ,
平均是对样本空间是有可能的结果求出的,大多数未出现样本也要参与平均是贝叶斯学者不能理解的,这就是条件观点。
贝叶斯点估计
已知总体 X X X参数的后验分布: π ( θ ∣ x 1 , x 2 , … , x n ) \pi(\pmb \theta|x_1,x_2,\ldots,x_n) π(θθθ∣x1,x2,…,xn)
最大后验估计: θ ^ M D \hat{\pmb \theta}_{MD} θθθ^MD
也称后验众数估计(posterior mode estimator),后验极大似然估计
π ( θ ∣ x 1 , x 2 , … , x n ) 最 大 值 θ ^ M D \pi(\pmb \theta|x_1,x_2,\ldots,x_n)最大值 \hat{\pmb \theta}_{MD} π(θθθ∣x1,x2,…,xn)最大值θθθ^MD
后验中位数估计: θ ^ M E \hat{\pmb \theta}_{ME} θθθ^ME
P ( θ > θ ^ ∣ x 1 , x 2 , … , x n ) = P ( θ < θ ^ ∣ x 1 , x 2 , ⋯   , x n ) P(\pmb \theta>\hat {\pmb \theta}|x_1,x_2,\ldots,x_n)=P(\pmb \theta<\hat {\pmb \theta}|x_1,x_2,\cdots,x_n) P(θθθ>θθθ^∣x1,x2,…,xn)=P(θθθ<θθθ^∣x1,x2,⋯,xn