[数理知识]统计决策理论——贝叶斯决策与两类错误率

---

前序

[数理知识]贝叶斯公式和最大似然估计笔记

---

1 决策理论与方法

1.1 基于先验概率的决策过程

记 $x$ 为观察到的样本特征，分类空间为 A = { a 1 , a 2 . . . , a n } A=\{a_1, a_2...,a_n\} A={ a1​,a2​...,an​}，其中$a_i$为第$i$个类，$P(a_i)$为类$a_i$的发生概率。

• $x=[x_1,x_2,...,x_d{]}^T$为由$d$维空间组成的特征向量。
• 当 $P(a_j)>P(a_{others})$时，记决策规则$x\in a_j$。
• 当做出决策$x\in a_j$之后，单类分类错误率$P({error}_j)=1-P(a_j)$，即 $x\notin a_j$的概率。

可以看到，一般决策过程仅依靠先验概率$P(a_j)$，使得对 $x$ 的观察(特征参考)并没有对决策过程产生影响，总体错误率仍有降低的空间。

1.2 基于贝叶斯公式的决策过程

贝叶斯决策：在观察到$x$ 的样本特征后，基于贝叶斯公式，可以有效降低分类错误率：
$$\begin{array}{rl}P(a_i|x)& =\frac{p(x|a_i)P(a_i)}{p(x)}\\ & =\frac{p(x|a_i)P(a_i)}{{\sum }_{j=1}^{n}p(x|a_j)P(a_j)}\end{array}$$其中, $p(x|a_i)$是类条件密度，$P(a_i)$是先验概率，$p(x)$是总体密度，$P(a_i|x)$是后验概率；

• 因此在本质上，贝叶斯决策是指：[后验概率]等于[先验概率]与[类条件密度]的乘积，最后采用[总体密度]做归一化。同时，[总体密度]由全概率公式又可以转化为所有类的[先验概率]与其[类概率密度]乘积之和。

贝叶斯决策也被称作统计决策理论。

• 记$\lambda =\frac{p(x|a_i)}{p(x)}$ ，所以基于贝叶斯决策的决策的错误率：
  $$\begin{array}{rl}P({error}_i)& =1-P(a_i|x)\\ & =1-\lambda \times P(a_i)\end{array}$$

贝叶斯分类决策增益 $\lambda$ 是对先验概率$P(a_i)$的增益，是基于对$x$的观测而得到的,其值等于类条件概率在总体密度上的归一值，增益程度取决于类条件概率 $p(x|a_i)$——当$a_i$越容易导致$x$的发生时(类条件概率越大)，则增益程度越高($\lambda$越大)，第$i$类的分类错误率越低。

1.3 决策错误率

(总体)决策错误率定义为所有服从同样分布的独立样本上的单类错误率的期望，即：
$$P(e)=\int P(e|x)\times p(x)dx$$

• 其中，$P(e|x)$即为单类分类错误率$P({error}_i)$在连续函数上的表示法。
• 显然，贝叶斯决策由于增益$\lambda$的存在，能有效降低决策错误率。

---

2 贝叶斯决策的优化

2.1 最小错误率贝叶斯决策

对于每次决策，取后验概率最大的决策，即可使得决策错误率最小。
P ( a i ∣ x ) = max ⁡ j = 1.. n P ( a j ∣ x ) P(a_i|x)=\max_{j=1..n} {P(a_j|x)}