贝叶斯统计决策理论

决策问题的三要素

• 状态集$\Theta$={$\theta$}，其中每个元素$\theta$表示自然界或社会可能出现的一种状态，所有可能状态的全体组成状态集。
• 行动集$\mathcal{A}$={$a$}，其中每个元素$a$表示人对自然界或社会可能采取的一个行动，所有此行动的全部就是行动集。
• 收益函数$Q$($\theta$,$a$)。

决策准则

• 行动的容许性：
  在给定的决策问题中，$\mathcal{A}$中的行动 $a_1$称为是容许的，假如在$\mathcal{A}$中不存在满足如下两个条件的行动$a_2$，
  1.对所有的$\theta$$\in$$\Theta$，有$Q$($\theta$,$a_1$)$\ge$Q($\theta$,$a_2$)；
  2.至少有一个$\theta$，可使上述不等式严格成立。
• 悲观准则：最小最大收益，保守。
• 乐观准则：最大最大收益，冒险。
• 折中准则：悲观与乐观的加权。

先验期望准则

• 先验期望收益
  对给定的决策问题，若在状态集$\Theta$上有一个正常的先验分布$\pi$($\theta$)，则收益函数$Q$($\theta$,a)对$\pi$($\theta$)的期望与方差
  
  
  分别称为先验期望收益和收益的先验方差。使先验平均收益达到最大的行动$a^{{}^{\prime }}$
  
  称为先验期望准则下的最优行动。若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动。

损失函数

• 悲观准则：最大最小损失，保守。
• 损失函数下的先验期望准则
  对给定的决策问题，若在状态集上有一个正常的先验分布$\pi$($\theta$)，则损失函数$L$($\theta$,$a$)对$\pi$($\theta$)的期望与方差
  
  
  分别称为先验期望损失和先验方差，使先验期望损失达到最小的行动$a^{{}^{\prime }}$
  
  称为先验期望准则下的最优行动，若此种最优行动不止一个，其中先验方差达到最小的行动称为二阶矩准则下的最优行动。
• 二行动线性决策问题的损失函数
  
  
  
  

贝叶斯决策

• 后验风险
  我们把损失函数$L$($\theta$,$a$)对后验分布$\pi$($\theta$|$x$)的期望称为后验风险，记为$R$($a$|$x$)，即
  

• 决策函数
  在给定的贝叶斯决策问题中，从样本空间$\mathcal{X}$={$x$=($x_1$,$x_2$,…$x_n$)}到行动集$\mathcal{A}$上的一个映照$\delta$($x$)称为该决策问题的一个决策函数。所有从$\mathcal{X}$到$\mathcal{A}$上的决策函数组成的类称为决策函数类，用$D$={$\delta$($x$)}表示。

• 后验风险准则
  在给定的贝叶斯决策问题中$D$={$\delta$($x$)}是其决策函数类，则称
  
  为决策函数$\delta$=$\delta$($x$)的后验风险。假如在决策函数类$D$中存在这样的决策函数$\delta$’=$\delta$($x$)，它在D中具有最小的后验风险
  
  则称 $\delta$’($x$)为后验风险准则下的最优决策函数，或称贝叶斯决策函数，或贝叶斯解。当参数空间$\Theta$与行动集$\mathcal{A}$相同，均为某个实数集时，满足上式的 $\delta$’($x$)又称为$\theta$的贝叶斯解或贝叶斯估计。

抽样信息期望值

• 完全信息期望值
  

• 完全信息后验期望值
  后验$EVPI$(Expected Value of Perfect Information)=
  
  后验$EVPI$的期望值=
  

• 抽样信息期望值
  

• 最佳样本量的确定

• 抽样成本
  由固定成本$C_f$与可变成本$C_v$·$n$组成，即
  

• 抽样净益(Expected Net Gain From Sampling)，记为ENGS，即
  

• 最佳样本量
  使得抽样净益达到最大且样本量最少的$n^{\ast }$称为最佳样本量，即$n^{\ast }$满足
  
  要使抽样成为可行，抽样成本$C(n)$不应超过抽样信息期望值$EVSI(n)$，而$EVSI(n)$也不会超过先验完全信息期望值$EVPI$。由此可知，最佳样本容量$n^{\ast }$应满足如下不等式
  
  

统计决策理论

• 风险函数
  仅使用抽样信息的决策问题称为统计决策问题。设$\delta$($x$)是某一统计决策问题中的决策函数。$\delta$($x$)的风险函数定义为
  

• 最小最大准则

• 贝叶斯风险
  对给定的统计决策问题和给定的决策函数类$\mathcal{A}$，设决策函数$\delta$($x$)的风险函数为$R$($\theta$,$\delta$($x$))，又设$\theta$的先验分布为$\pi$($\theta$)，则风险函数对先验分布的期望
  
  称为$\delta$($x$)的贝叶斯风险，假如在决策函数类$\mathcal{A}$中存在这样的决策函数${\delta }^{\ast }$($x$)，使得
  
  则称${\delta }^{\ast }$($x$)为在贝叶斯风险准则下的最优决策函数。

• 贝叶斯风险准则与后验风险准则的等价性
  
  下面转入等价性的讨论，为此设
  ${\delta }^{\ast }$为使贝叶斯风险准则下的最优决策函数。
  ${\delta }^{\ast \ast }$为使后验风险准则下的最优决策函数。
  
  
  这表明：使后验风险最小的决策函数${\delta }^{\ast \ast }$同时也使贝叶斯风险最小。
  
  
  
  这表明：使贝叶斯风险最小的决策函数${\delta }^{\ast }$同时也使后验风险最下。
  综上所述，后验风险准则与贝叶斯风险准则等价。