模式识别学习笔记-lecture2-统计判别1

作为统计判别问题的模式分类

• 模式识别的目的就是要确定某一个给定的模式样本属于哪一类
• 输入：被识别对象的特征向量
• 输出：被识别样本的类别

贝叶斯判别原则

两类模式集的分类

• 目的：要确定$x$是属于${\omega }_1$类还是${\omega }_2$类，要看$x$是来自于${\omega }_1$类的概率大还是来自${\omega }_2$类的概率大。

根据概率判别规则，有：
若$P({\omega }_1|x)>P({\omega }_2|x)$，则$x\in {\omega }_1$
若$P({\omega }_1|x)<P({\omega }_2|x)$，则$x\in {\omega }_2$
由贝叶斯定理，后验概率$P({\omega }_i|x)$可由类别${\omega }_i$的先验概率$P({\omega }_i)$和$x$的条件概率密度$P(x|{\omega }_i)$来计算，即：
$$P({\omega }_i|x)=\frac{P(x|{\omega }_i)P({\omega }_i)}{P(x)}=\frac{P(x|{\omega }_i)P({\omega }_i)}{{\sum }_{i=1}^{2}P(x|{\omega }_i)P({\omega }_i)}$$
这里$P(x|{\omega }_i)$也称为似然函数，将该式代入上述判别式，有：
若$P(x|{\omega }_1)P({\omega }_1)>P(x|{\omega }_2)P({\omega }_2)$，则$x\in {\omega }_1$
若$P(x|{\omega }_1)P({\omega }_1)<P(x|{\omega }_2)P({\omega }_2)$，则$x\in {\omega }_2$
或
若$l_{12}(x)=\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}>\frac{P({\omega }_2)}{P({\omega }_1)}$，则$x\in {\omega }_1$
若$l_{12}(x)=\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}<\frac{P({\omega }_2)}{P({\omega }_1)}$，则$x\in {\omega }_2$
其中，$l_{12}$称为似然比，$\frac{P({\omega }_2)}{P({\omega }_1)}$称为似然比的判决阈值，此判别称为贝叶斯判别。

例题：

假设某地发生地震事件${\omega }_1$的概率为0.2，$P({\omega }_1)=0.2$，则不发生地震的概率${\omega }_2$为0.8，$P({\omega }_2)=0.8$，已知地震通常与生物异常反应之间有一定的联系，生物是否发生异常这一结果以模式$x$表示，有两种取值，包括异常和正常，假设地震前一周内发生生物异常的概率是0.6，$P(x=异常|{\omega }_1)=0.6$，地震前一周生物正常的概率是0.4，$P(x=正常|{\omega }_1)=0.4$，一周之内没有发生地震但是生物异常的概率是0.1，，$P(x=异常|{\omega }_2)=0.1$，一周之内没有发生地震生物正常的概率是0.9，$P(x=正常|{\omega }_2)=0.9$
求解：发生生物异常情况下一周之内发生地震的概率
$$\begin{gathered} \begin{array}{rl}P({\omega }_1|x=异常)& =\frac{P(x=异常|{\omega }_1)P({\omega }_1)}{{\sum }_{i=1}^{2}P(x=异常|{\omega }_i)P({\omega }_i)}\\ & =\frac{P(x=异常|{\omega }_1)P({\omega }_1)}{P(x=异常|{\omega }_1)P({\omega }_1)+P(x=异常|{\omega }_2)P({\omega }_2)}\\ & =\frac{0.6\times 0.2}{0.6\times 0.2+0.1\times 0.8}\\ & =0.6\end{array} \\ 似然比：l_{12}=\frac{P(x=异常|{\omega }_1)}{P(x=异常|{\omega }_2)}=\frac{0.6}{0.1}=6 \\ 判决阈值：{\theta }_{21}=\frac{P({\omega }_2)}{P({\omega }_1)}=\frac{0.8}{0.2}=4 \end{gathered}$$

贝叶斯最小风险判别

• 目的：考虑到某些类别的错误判断比另外一些类的错误判断风险更大，需要对贝叶斯判别做一些修正。
• $M$类分类问题的条件平均风险$r_j(x)={\sum }_{i=1}^M{L}_{ij}P({\omega }_i|x)$
• $L_{ij}$称为本应属于${\omega }_i$类的模式判别成属于${\omega }_j$类的是非代价，若$i=j$即判别正确，得分，$L_{ij}$可以取负值或零，表示不失分，若$i\ne j$即判别错误，应该取正值。
• 分类器对每一个模式$x$有$M$种可能的类别可供选择，将$x$指定为具有最小风险值的那一类，则这种分类器称为最小平均条件风险分类器
• 按照贝叶斯公式，平均条件风险可写成：$r_j(x)=\frac{1}{p(x)}{\sum }_{i=1}^M{L}_{ij}P(x|{\omega }_i)P({\omega }_i)$，舍去$\frac{1}{P(x)}$这个公共项简化为$r_j(x)={\sum }_{i=1}^M{L}_{ij}P(x|{\omega }_i)P({\omega }_i)$，这也是贝叶斯分类器，但是这个不是按错误概率最小作为标准，而是按平均条件风险作为标准。

两类的情况

$M=2$即全部的模式样本只有${\omega }_1$和${\omega }_2$两类，则平均风险可以写成：
当分类器将$x$判别为${\omega }_1$时：
$$r_1(x)=L_{11}P(x|{\omega }_1)P({\omega }_1)+L_{21}P(x|{\omega }_2)P({\omega }_2)$$
当分类器将$x$判别为${\omega }_2$时：
$$r_2(x)=L_{12}P(x|{\omega }_1)P({\omega }_1)+L_{22}P(x|{\omega }_2)P({\omega }_2)$$
若$r_1(x)<r_2(x)$，则$x$被判定为属于${\omega }_1$，此时：
$$L_{11}P(x|{\omega }_1)P({\omega }_1)+L_{21}P(x|{\omega }_2)P({\omega }_2)<L_{12}P(x|{\omega }_1)P({\omega }_1)+L_{22}P(x|{\omega }_2)P({\omega }_2)$$
即：
$$(L_{12}-L_{11})P(x|{\omega }_1)P({\omega }_1)>(L_{21}-L_{22})P(x|{\omega }_2)P({\omega }_2)$$
当$\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}>\frac{P({\omega }_2)}{P({\omega }_1)}.\frac{L_{21}-L_{22}}{L_{12}-L_{11}}$
该式左边为似然比：$l_{12}=\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}$
右边为阈值：${\theta }_{2}1=\frac{P({\omega }_2)}{P({\omega }_1)}.\frac{L_{21}-L_{22}}{L_{12}-L_{11}}$

• 若$l_{12}(x)>{\theta }_{21}$，则$x\in {\omega }_1$
• 若$l_{12}(x)<{\theta }_{21}$，则$x\in {\omega }_2$

通常，当判别正确时，不失分，可选常数$L_{11}=L_{22}=0$；判别错误时，可选$L_{12}=L_{21}=1$，此时${\theta }_{21}=\frac{P({\omega }_2)}{P({\omega }_1)}$

• 例：一信号通过一受噪声干扰的信道，信道输入信号为0或1，噪声为高斯型，其均值为$\mu =0$，方差为${\sigma }^2$，信道输出为$x$，试求最优的判别规则，从观察值$x$的基础上判别它是0还是1，直观上可以看出，若$x<0.5$应该判为0，$x>0.5$应该判为1。用贝叶斯判别条件分析，设信号送0的先验概率为$P(0)$，送1的先验概率为$P(1)$。
  当输入信号为0时，受噪声为正态分布$N(0,{\sigma }^2)$的干扰，其幅值大小的概率密度为：
  $$P(x|{\omega }_1)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{x^2}{2{\sigma }^2}}$$
  当输入信号为0时，其幅值大小的概率密度为：
  $$P(x|{\omega }_2)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-1{)}^2}{2{\sigma }^2}}$$
  则似然比为：$l_{12}=\frac{P(x|{\omega }_1)}{P(x|{\omega }_2)}=e^{\frac{1-2x}{2{\sigma }^2}}$
  若$l_{12}>{\theta }_{21}$，即$e^{\frac{1-2x}{2{\sigma }^2}}>{\theta }_{21}$，则$x<\frac{1}{2}-{\sigma }^{2}ln{\theta }_{21}$，则$x\in {\omega }_1$，此时信号是0，即：
  $$x<\frac{1}{2}-{\sigma }^{2}ln\left(\frac{L_{21}}{L_{12}}.\frac{P(1)}{P(0)}\right)$$
  若取$L_{21}=L_{21}=1,P(1)=P(0)$，则$x<\frac{1}{2}$判为0
  若无噪声干扰，即${\sigma }^2=0$，则$x<\frac{1}{2}$判为0

一般多类的情况

对于$M$类情况，若$r_i(x)<r_j(x),j=1,2,\cdots ,M,j\ne i$，则$x\in {\omega }_1$
$L$可如下取值，判对失分为0，判错失分为1记：
$$L_{ij}=\{\begin{array}{ll}0& wheni=j\\ 1& wheni\ne j\end{array}$$
则条件平均风险可写成：
$$\begin{array}{rl}{r}_j(x)& =\sum _{i=1}^M{L}_{ij}P(x|{\omega }_i)P({\omega }_i)\\ & =L_{1j}P(x|{\omega }_1)P({\omega }_1)+\cdots +L_{jj}P(x|{\omega }_j)P({\omega }_j)+\cdots +L_{Mj}P(x|{\omega }_M)P({\omega }_M)\\ & =\sum _{i=1}^{M}P(x|{\omega }_i)P({\omega }_i)-P(x|{\omega }_j)P({\omega }_j)\\ & =P(x)-P(x|{\omega }_j)P({\omega }_j)\end{array}$$
由$r_i(x)<r_j(x)$，有当$P(x|{\omega }_i)P({\omega }_i)>P(x|{\omega }_j)P({\omega }_j)$时，$x\in {\omega }_i$，对应于判别函数为：取$d_i(x)=P(x|{\omega }_i)P({\omega }_i),i=1,2,\cdots ,M$，则对于全部$j\ne i$的值，若$d_i(x)>d_j(x)$，则$x\in {\omega }_i$