贝叶斯判别

贝叶斯判定原则

两类模式集的分类目的：要确定x是属于ω1类还是ω2类，要看x是来自于ω1类的概率大还是来自ω2类的概率大

根据概率判别规则，有：
   若P(ω1 | x) > P(ω2 | x)，则 x∈ω1
   若P(ω1 | x) < P(ω2 | x)，则 x∈ω2
由贝叶斯定理，后验概率P(ωi | x)可由类别ωi的先验概率P(ωi)和x的条件概率密度p(x | ωi)来计算，即：
 
这里p(x | ωi)也称为似然函数。将该式代入上述判别式，有：

    若 P(x | ω1) P(ω1) > P(x | ω2) P(ω2) ,   则 x∈ω1 ;
    若 P(x | ω1) P(ω1) > P(x | ω2) P(ω2) ,   则 x∈ω2 ;

或
  
其中，l12称为似然比，P(ω2)/P(ω1)=θ21称为似然比的判决阈值，此判别称为贝叶斯判别。

例子（地震预测）

  对某一地震高发区进行统计，地震以ω1类表示，正常以ω2类表示
  统计的时间区间内， 每周发生地震的概率为20%，即P(ω1)=0.2，当然P(ω2)=1-0.2=0.8
在任意一周，要判断该地区是否会有地震发生。显然，因为P(ω2)> P(ω1)，只能说是正常的可能性大。如要进行判断，只能其它观察现象来实现。
  通常地震与生物异常反应之间有一定的联系。若用生物是否有异常反应这一观察现象来对地震进行预测，生物是否异常这一结果以模式x代表，这里x为一维特征，且只有x=“异常”和x=“正常”两种结果。
  假设根据观测记录，发现这种方法有以下统计结果：
    • 地震前一周内出现生物异常反应的概率=0.6，即p(x=异常| ω1)=0.6
    • 地震前一周内出现生物正常反应的概率=0.4，即p(x=正常| ω1)=0.4
    • 一周内没有发生地震但也出现了生物异常的概率=0.1，即p(x=异常| ω2)=0.1
    • 一周内没有发生地震时，生物正常的概率=0.9，即p(x=正常| ω2)=0.9
  若某日观察到明显的生物异常反应现象，一周内发生地震的概率为多少，即求P(ω1 | x=异常)=？
  •这里P(ω1) 是根据以往的统计资料得到的地震发生的先验概率。现在经过观察，需要求出P(ω1 | x=异常)，即观测到生物异常时一周内发生地震的概率，称为后验概率。

注：素材整理自国科大黄庆明老师所授《模式识别与机器学习》课程内容，博客内容意为知识积累，如有不同见解可在评论区一起讨论鸭！！！

PS：希望本学期跟住黄老师脚步，不要让我硕果仅存的几根头发还要为期末操心！