18.第七章 Bayes方法和统计决策理论(2)

第七章 Bayes方法和统计决策理论(2)

1.Bayes点估计与区间估计

在点估计方面，有了后验分布以后，可以按照后验分布求未知参数$\theta$的点估计。一般常用以下三种估计：

• 后验众数估计：使后验密度$\pi (\theta |x)$达到最大时的$\theta$值，也称为后验密度的众数，用后验密度的众数作为$\theta$的估计称为后验众数估计，也称为广义极大似然估计，记作${\hat{\theta }}_{MD}$。
• 后验中位数估计：用后验分布的中位数作为$\theta$估计，称为$\theta$的后验中位数估计，记作${\hat{\theta }}_{ME}$.
• 后验均值估计：用后验分布的期望作为$\theta$的估计，称为后验期望估计（后验均值估计），记作${\hat{\theta }}_E$。

在不引起混淆的情况下，上述三个估计都用${\hat{\theta }}_B$来记，表示Bayes估计。

衡量Bayes点估计的优劣使用后验均方误差PMSE，在样本观测值为$x$的情况下设$\theta$的Bayes估计为$\delta (x)$，则PMSE如下定义来度量估计量的精度：
$$\text{PMSE}(\delta (x))=E^{\theta |x}[(\theta -\delta (x){)}^2]$$
PMSE越小越好，特别当$\delta (x)=E(\theta |x)$，即使用期望型Bayes估计时，$\delta (x)$的PMSE就是后验方差$D(\theta |x)$。可以证明，当后验均值为${\mu }^{\pi }(x)$，后验方差为$V^{\pi }(x)$时：
$$\begin{array}{rl}\text{PMSE}(\delta (x))=& E^{\theta |x}[(\theta -\delta (x){)}^2]\\ =& E^{\theta |x}[((\theta -{\mu }^{\pi }(x))+({\mu }^{\pi }(x)-\delta (x)){)}^2]\\ =& V^{\pi }(x)+({\mu }^{\pi }(x)-\delta (x){)}^2\\ \ge & V^{\pi }(x)\end{array}$$
所以后验期望估计是使得PMSE最小的Bayes估计，即PMSE准则下的最优估计，所以一般使用后验期望估计作为未知参数的Bayes点估计。

对于区间估计，当获得后验分布$\pi (\theta |x)$后，如果存在区间$[a,b]$，使$\theta$落在$[a,b]$内的后验概率为$1-\alpha$，即$\mathbf{P}(a\le \theta \le b|x)\ge 1-\alpha$，则称$[a,b]$是$\theta$的Bayes区间估计，又叫可信区间。对于给定的样本$x$和$0<\alpha <1$，如果存在两个统计量${\hat{\theta }}_1,{\hat{\theta }}_2$使得
$$\mathbf{P}({\hat{\theta }}_1(x)\le \theta \le {\hat{\theta }}_2(x)|x)\ge 1-\alpha$$
就称$[{\hat{\theta }}_1,{\hat{\theta }}_2]$为$\theta$的可信水平为$1-\alpha$的Bayes可信区间。同理可以定义Bayes可信限。

2.Bayes假设检验

对于检验问题$H_0:\theta \in {\Theta }_0\leftrightarrow \theta \in {\Theta }_1$，用Bayes方法得到$\theta$的后验分布$\pi (\theta |x)$后，只需要计算
$${\alpha }_0=\mathbf{P}(\theta \in {\Theta }_0|x),{\alpha }_1=\mathbf{P}(\theta \in {\Theta }_1|x)$$
并比较${\alpha }_0,{\alpha }_1$的大小，就决定接受$H_0$还是$H_1$，如果${\alpha }_0/{\alpha }_1>1$则接受$H_0$，否则就拒绝$H_0$。

3.Bayes统计决策

Bayes统计决策四要素：

• 样本空间与样本分布族。即取值于样本空间$\mathcal{X}$的随机变量及其分布族 { f ( x , θ ) , θ ∈ Θ } \{f(x,\theta),\theta\in\Theta\} {f(x,θ),θ∈Θ}。
• 行动空间。是决策者或统计工作者对某个统计决策问题可能采取的行动所构成的非空集合$\mathcal{A}$。在估计问题中$\mathcal{A}$由一切估计量$\delta (x)$构成，可以取$\mathcal{A}=\Theta$；在检验问题中$\mathcal{A}$由两个行动 { a 0 , a 1 } \{a_0,a_1\} {a0​,a1​}构成，分别代表接受和拒绝原假设。
• 损失函数。是一个定义在$\Theta \times \mathcal{A}$上的非负函数，记作$L(a,\theta )$，它表示参数为$\theta$时采取行动$a\in \mathcal{A}$所蒙受的损失。
• 先验分布。这是Bayes统计决策的特有要素，定义在参数空间$\Theta$上的先验分布函数$F^{\pi }(\theta )$或概率函数$\pi (\theta )$。

Bayes统计决策就是研究如何根据样本$x$的值，恰当选取行动$a$使得按样本分布或后验分布计算的平均损失最小。在定义损失函数之前先定义平均损失，由于采取的行动$\delta$是依赖于样本$\mathbf{X}$的，因此损失函数$L(\delta ,\theta )$也和样本$\mathbf{X}$有关，记平均损失为风险函数，即
$$R(\delta ,\theta )=E[L(\delta (\mathbf{X}),\theta )]={\int }_{\mathcal{X}}L(\delta (\mathbf{x}),\theta )f(x,\theta )d\mathbf{x}$$
当然我们希望风险函数越小越好，如果存在一个决策函数${\delta }^{\ast }$，使得对任何一个决策函数$\delta$都有$R({\delta }^{\ast },\theta )\le R(\delta ,\theta ),\forall \theta \in \Theta$，则称决策${\delta }^{\ast }$是一直最优决策函数。如果一直最优决策存在，那应当采用它，但除了某些特殊情形，一直最优解通常不存在，所以需要放宽标准。

现定义Bayes风险，设$R(\delta ,\theta )$为$\delta$的风险函数，$H(\theta )$为先验分布，如果存在密度则记作$\pi (\theta )$，则称$\delta$的Bayes风险为
$$R_H(\delta )=E^{\theta }[R(\delta ,\theta )]={\int }_{\Theta }R(\delta ,\theta )dH(\theta )={\int }_{\Theta }R(\delta ,\theta )\pi (\theta )d\theta$$
这是将风险函数按照先验分布$\pi (\theta )/H(\theta )$加权得到的平均风险，使得Bayes风险达到最小的决策函数称为该决策问题的Bayes解，即如果存在${\delta }^{\ast }$使得对任一决策函数$\delta$有$R_H({\delta }^{\ast })\le R_H(\delta )$，则称${\delta }^{\ast }$为所考虑的统计决策问题的Bayes解。

当获得样本后，相应地会有后验分布$\pi (\theta |x)/H(\theta |x)$，因此将损失函数按后验分布加权平均就得到后验风险，即
$$R(\delta |x)=E^{\theta |x}[L(\delta ,\theta )]={\int }_{\Theta }L(\delta ,\theta )dH(\theta |x)={\int }_{\Theta }L(\delta ,\theta )\pi (\theta |x)d\theta$$
如果存在决策函数${\delta }^{\ast }$使得对于任一决策函数$\delta$，都有$R({\delta }^{\ast }|x)\le R(\delta |x)$，则称${\delta }^{\ast }$是后验风险最小原则下的最优Bayes函数。可以证明，后验风险最小准则下的决策函数就是Bayes解。

接下来讨论损失函数，常见的损失函数有平方损失、加权平方损失、绝对值损失等。

平方损失是$L(a,\theta )=(a-\theta {)}^2$，在平方损失下，$\theta$的Bayes估计是其后验期望。

加权平方损失是$L(a,\theta )=w(\theta )(a-\theta {)}^2$，在加权平方损失下，$\theta$的Bayes估计为
$${\hat{\theta }}_B=\frac{E(\theta w(\theta )|x)}{E(w(\theta )|x)}$$
绝对值损失是$L(a,\theta )=|a-\theta |$，在绝对值损失下，$\theta$的Bayes估计为后验中位数。