第三节 贝叶斯决策

第三节 贝叶斯决策（统计决策理论）

前提：已知先验概率、类条件概率

分类可以看作一种决策，即根据观测对样本做出应归属某一类的决策。

• 实际应用中的不同情况

  • 不知道各类的先验概率

    • 假设各类的先验概率相等

    • 最小最大决策准则

  • 难于确定误判的代价

    • 最小错误率决策准则

  • 某一种错误较另一种错误更重要

    • 最小风险决策准则
    • 限定错误率的两类判别决策准则

3.1 随机模式分类

• 模式的类型：

  • 确定型：一定条件下必然发生或不发生（信息确定、充分）
  • 随机型：从已观察到的模式无法精确预知其类别（信息不充分、需分析统计规律）

• 贝叶斯公式：设 ${\omega }_1$ 代表正常细胞，${\omega }_2$ 代表异常细胞(癌细胞)。
  $$\begin{gathered} P(X,{\omega }_i)=P(X|{\omega }_i)P({\omega }_i)=P({\omega }_i|X)P(X) \\ P(X)=\sum _{j=1}^{c}P(X|{\omega }_j)P({\omega }_j)c表示总类别数 \end{gathered}$$

  • 先验概率：预先已知的或者可以估计的模式识别系统位于某种类型的概率。$P({\omega }_1),P({\omega }_2)$ 称为先验概率，根据统计资料估计得到，

  $$\begin{gathered} P({\omega }_1)+P({\omega }_2)=1 \\ P({\omega }_1)>P({\omega }_2) \end{gathered}$$

  • 类条件概率：系统位于某种类型条件下模式样本 $x$​ 出现的概率。$P(x|{\omega }_1),P(x|{\omega }_2)$​ 称为类条件概率，根据训练样本统计分析得到，

    

  • 后验概率：系统在某个具体的模式样本 $x$​ 条件下位于某种类型的概率，可根据贝叶斯公式计算，用作分类判决的依据。$P({\omega }_1|x),P({\omega }_2|x)$​ 称为后验概率，
    $$P({\omega }_1|x)+P({\omega }_2|x)=1$$

  • 联合概率：$P(X,{\omega }_i)$

• 贝叶斯决策：在类条件概率密度和先验概率已知的情况下，通过贝叶斯公式比较样本属于两类的后验概率，为使总体错误率最小，将类别决策为后验概率大的一类。
  $$P({\omega }_i|X)=\frac{P(X|{\omega }_i)P({\omega }_i)}{P(X)}$$

3.1.1 最小错误率贝叶斯决策

• 分类错误：

  • 模式特征 $X$：$d$ 维特征向量 $x=[x_1,x_2,...,x_d{]}^T$

  • 分类错误的概率 $P(e|x)$：是模式特征 $X$ 的函数
    $$P(e|x)=\{\begin{array}{l}P({\omega }_2|x),x\in {\omega }_1\\ P({\omega }_1|x),x\in {\omega }_2\end{array}$$

  • 平均错误率 $P(e)$：是随机函数 $P(e|x)$ 的期望
    $$P(e)=\int P(e|x)P(x)dx$$

• 最小错误率：
  $$若P({\omega }_k|x)=\underset{i=1,2}{\max }P({\omega }_i|x),则x\in {\omega }_k$$
  $例题$：以两类问题（癌细胞与正常细胞的分类）为例。

  

  解：假设根据某种分类规则，模式（特征）空间被分成两个部分（以 $H$ 为分界面）$R_1$ 中的样本被分为第一类，$R_2$ 中的样本被分为第二类。

  已知先验概率 $P({\omega }_1),P({\omega }_2)$，根据数据得到类条件概率 $P(x|{\omega }_1),P(x|{\omega }_2)$

  利用贝叶斯公式得到后验概率 $P({\omega }_1|x),P({\omega }_2|x)$

  

  当 $P({\omega }_1|x)=P({\omega }_2|x)$ 时的分界线称为决策边界或分类线。

  • 计算错误率：
    • 第一类样本分类错误率：${\int }_{R_2}P(x|{\omega }_1)P({\omega }_1)dx$
    • 第二类样本分类错误率：${\int }_{R_1}P(x|{\omega }_2)P({\omega }_2)dx$
    • 平均分类出错率：

  $$\begin{array}{rl}P(e)& ={\int }_{R_2}P(x|{\omega }_1)P({\omega }_1)+{\int }_{R_1}P(x|{\omega }_2)P({\omega }_2)dx\\ & ={\int }_{R_2}P({\omega }_1|x)P(x)+{\int }_{R_1}P({\omega }_2|x)P(x)dx平均分类出错率\\ P({\omega }_1)& ={\int }_{R_2}P({\omega }_1|x)P(x)+{\int }_{R_1}P({\omega }_1|x)P(x)dx全概率公式\\ P(e)& =P({\omega }_1)+{\int }_{R_1}(P({\omega }_2|x)-P({\omega }_1|x))P(x)dx\end{array}$$

  • 当 $R_1$ 中的样本满足 $P({\omega }_2|x)<P({\omega }_1|x)$ 时， $P(e)$ 取得最小值。即当 $P({\omega }_2|x)=P({\omega }_1|x)$ 时，错误率最小。

3.1.2 最小风险贝叶斯决策

将不同类分错造成的后果的严重性并不总是一样的，于是要设计分类规则使得损失（风险）最低

• 决策论的概念：

  • 样本 $x$：$d$ 维随机向量 $\vec{x}=[x_1,x_2,...,x_d{]}^T$（构成自然空间）

  • 类别 $w$： Ω = { ω 1 , ω 2 , . . . , ω c } \Omega=\{\omega_1,\omega_2,...,\omega_c\} Ω={ω1​,ω2​,...,ωc​}（构成状态空间 $\Omega$ ）

  • 决策 $\alpha$：分类时所采取的决定。决策 ${\alpha }_j$ 表示将模式 $\vec{x}$ 指判为 ${\omega }_j$ 或者拒判。（对随机向量 $\vec{x}$ 可能采取的决策组成的集合构成决策空间 { α 1 , α 2 , . . . , α k } \{\alpha_1,\alpha_2,...,\alpha_k \} {α1​,α2​,...,αk​}）

    注意：$k$ 不一定等于 $c$

• 决策表：

  • 损失函数：对于实际状态为 ${\omega }_j$ 的向量 $\vec{x}$，采取决策 ${\alpha }_i$ 所带来的损失
    $${\lambda }_{ji}=\lambda ({\alpha }_i,{\omega }_j),i=1,...,k,j=1,...,c$$
    若希望尽可能避免将状态 ${\omega }_j$ 错判为 ${\omega }_i$ （即该分类错误损失较大），则可以将相应的 ${\lambda }_{ji}$ 的值调大一些。

  • 决策表：决策表的形成是困难的，需要大量的领域知识。决策表不同会导致决策结果的不同。

  

• 最小风险：把各种分类错误引起的损失考虑进去的贝叶斯决策法则，以使得期望的损失最小。

  • 样本 $x$ 的期望损失：通过对属于不同状态 ${\omega }_j$ 的后验概率 $P({\omega }_j|x)$ 采取决策 ${\alpha }_i$ 的期望损失（期望风险）
    $$R({\alpha }_i|x)=E[{\lambda }_{ji}|x]=\sum _{j=1}^c{\lambda }_{ji}P({\omega }_j|x),i=1,..,k$$

  • 最小风险：
    $$若R({\alpha }_k|x)=\underset{i=1,...,c}{\min }R({\alpha }_i|x),则\alpha ={\alpha }_k$$

• 最小风险和最小错误率贝叶斯决策法则的关系：

  • 两类最小错误率贝叶斯决策规则
    $$P({\omega }_1|x)\gtrless P({\omega }_2|x),\ni x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$
  • 多类最小错误率贝叶斯决策规则
    $$P({\omega }_k|x)=\underset{i=1,...,c}{\max }P({\omega }_i|x),\ni x\in {\omega }_k$$
  • 多类最小风险贝叶斯决策规则
    $$R({\alpha }_k|x)=\underset{i=1,...,c}{\min }\sum _{j=1}^c{\lambda }_{ji}P({\omega }_j|x),\ni \alpha ={\alpha }_k$$
  • 关系：当损失函数为 $0-1$ 损失函数 Cannot read properties of undefined (reading 'type') 时，最小风险贝叶斯决策就变成了最小错误率贝叶斯决策。即后者时前者的一个特例。

3.2 实际应用中的不同情况

3.2.1 最小最大决策准则

不知道各类的先验概率 $P({\omega }_i)$，或所用先验概率与实际有误差

• 引入：对于最小风险贝叶斯决策，判定的平均风险为
  $$R=\underset{R_1}{\int }\left[{\lambda }_{11}P(x|{\omega }_1)P({\omega }_1)+{\lambda }_{21}P(x|{\omega }_2)P({\omega }_2)\right]dx+\underset{R_2}{\int }\left[{\lambda }_{22}P(x|{\omega }_2)P({\omega }_2)+{\lambda }_{12}P(x|{\omega }_1)P({\omega }_1)\right]dx$$
  根据条件 $P({\omega }_2)=1-P({\omega }_1)$，$\underset{R_2}{\int }P(x|{\omega }_1)dx=1-\underset{R_1}{\int }P(x|{\omega }_1)dx$ 化简得
  $$\begin{array}{rl}R& =\left({\lambda }_{22}+({\lambda }_{21}-{\lambda }_{22})\underset{R_1}{\int }P(x|{\omega }_2)dx\right)\\ & +P({\omega }_1)\cdot \left(({\lambda }_{11}-{\lambda }_{22})+({\lambda }_{12}-{\lambda }_{11})\underset{R_2}{\int }P(x|{\omega }_1)dx-({\lambda }_{21}-{\lambda }_{22})\underset{R_1}{\int }P(x|{\omega }_2)dx\right)\\ & =a+b\cdot P({\omega }_1)\end{array}$$

  • 发现：固定类条件概率，误判代价，以及分界面（即划分区域 $R_1,R_2$）时，平均风险 $R$ 是先验概率 $P({\omega }_1)$ 的线性函数。

• 最小最大决策：

  在 $[0,1]$ 区间内，对先验概率 $P({\omega }_1)$ 取若干个不同的值，按最小风险决策确定相应的决策域，从而计算相应的最小风险 $R^{\ast }$，得出最小贝叶斯风险与先验概率的关系曲线

  $R=a+bP({\omega }_1)$ 线性：决策域固定

  $R^{\ast }\to P({\omega }_1)$ 非线性：不同 $P({\omega }_1)$ 决策域不同

  

  • 线段 $CD$ 表示：对应先验概率为 $P_A({\omega }_1)$ 的最小风险而确定的判决面固定时，当 $P({\omega }_1)$ 变化，$R$ 而形成的变化。是一个在 $[a,a+b]$ 之间的线性函数。

    • 平均损失要比最佳的判决面大许多

  • 线段 $C^{\prime }{D}^{\prime }$ 表示：按照 $P_B({\omega }_1)$ 下最小风险决策规则。

    • 保证在不调整判决面的情况下，不管 $P({\omega }_1)$ 如何变化，最大风险都为最小

      按最坏的情况考虑、保守但稳妥的做法

• 分类器：用似然比表示决策规则

  • 第一类风险：$R({\alpha }_1|x)={\lambda }_{11}P(x|{\omega }_1)P({\omega }_1)+{\lambda }_{21}P(x|{\omega }_2)P({\omega }_2)$
  • 第二类风险：$R({\alpha }_2|x)={\lambda }_{12}P(x|{\omega }_1)P({\omega }_1)+{\lambda }_{22}P(x|{\omega }_2)P({\omega }_2)$
  • 分类器：若 $R({\alpha }_1|x)\gtrless R({\alpha }_2|x)$，则 $x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$
    • 化简得到：若 $\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}\gtrless \frac{({\lambda }_{21}-{\lambda }_{22})(1-P({\omega }_1))}{({\lambda }_{12}-{\lambda }_{11})P({\omega }_1)}$，则 $x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$
    • 其中 $\frac{({\lambda }_{21}-{\lambda }_{22})(1-P({\omega }_1))}{({\lambda }_{12}-{\lambda }_{11})P({\omega }_1)}$ 称为阈值（将最大的最小风险值的先验概率 $P^{\ast }({\omega }_1)$ 代入），$\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}$ 称为似然比。

• 设计过程：

  • $⨀$ 1. 按最小损失准则找出对应于 $[0,1]$ 中的各个不同值的 $P({\omega }_1)$ 的最佳决策面，计算相应的最小平均损失，得到曲线函数

  • $⨀$​ 2. 找出使 $R$​ 最大的 $P^{\ast }({\omega }_1)$​ ，最后运用最小风险决策规则构造分类器
    $$若\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}\gtrless \frac{({\lambda }_{21}-{\lambda }_{22})(1-P^{\ast }({\omega }_1))}{({\lambda }_{12}-{\lambda }_{11})P^{\ast }({\omega }_1)},\ni x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$

3.2.2 限定错误率的两类判别决策准则

最小错误率贝叶斯决策使得两类错判的总概率最小

最小风险贝叶斯决策使得两类错判的 总风险(总代价) 最小

实际中，有时要求限制某一类错误率不大于某个常数而使另一类错误率尽可能地小

某一种错误较另一种错误更重要，需要优先满足某类错误

• 目标：
  $$\begin{gathered} \underset{R_1,R_2}{\min }{P}_1(e),\ni P_2(e)={\epsilon }_0 \\ \begin{array}{rl}其中P_1(e)& ={\int }_{R_2}P(x|{\omega }_1)P({\omega }_1)dx=1-{\int }_{R_1}P(x|{\omega }_1)P({\omega }_1)dx\\ P_2(e)& ={\int }_{R_1}P(x|{\omega }_2)P({\omega }_2)dx\end{array} \end{gathered}$$

• 解决：拉格朗日乘子法

  • 转化约束极值问题：
    $$\min \gamma =P_1(e)+\beta (P_2(e)-{\epsilon }_0),\beta 为拉格朗日乘子$$
  • 代入已知：
    $$\begin{array}{rl}\gamma & ={\int }_{R_2}P(x|{\omega }_1)P({\omega }_1)dx+\beta ({\int }_{R_1}P(x|{\omega }_2)P({\omega }_2)dx-{\epsilon }_0)\\ & =(1-\beta {\epsilon }_0)+{\int }_{R_1}\left[\beta \cdot P(x|{\omega }_2)P({\omega }_2)-P(x|{\omega }_1)P({\omega }_1)\right]dx\end{array}$$
  • 要使 $\gamma$ 最小，即在 $R_1$ 区域中，使 $\beta \cdot P(x|{\omega }_2)P({\omega }_2)-P(x|{\omega }_1)P({\omega }_1)<0$，故
    $$\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}>\beta \cdot \frac{P({\omega }_1)}{P({\omega }_2)}={\beta }^{\prime }$$

• 决策规则(Neyman—Pearson 或 N-P 判决)：
  $$若\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}\gtrless {\beta }^{\prime },\ni x\in \{\begin{array}{l}{\omega }_1\\ {\omega }_2\end{array}$$
  其中阈值 ${\beta }^{\prime }$ 满足 $\frac{\partial \gamma }{\partial \beta }=0$，即决策边界使得 ${\int }_{R_1}P(x|{\omega }_2)P({\omega }_2)dx={\epsilon }_0$

  阈值的求解需要已知类条件概率曲线

3.3 其他

• 序贯分类方法：考虑获取特征所花费的代价
  • 步骤：先用一部分特征来分类，逐步加入分类特征减少分类损失；并且比较加入特征的花费代价与所降低分类损失的大小