理解
从我们生活实际中出发,在一角、五角两个类中,判断这枚硬币是多少钱。
我们认为它是五角的概率大,所以我们判断为五角。
在数学上此概率可以由Bayes公式计算得出:
P ( w i ∣ x ) = P ( x ∣ w i ) P ( w i ) ∑ j = 0 n P ( x ∣ w j ) P ( w j ) P(w_i|x)=\cfrac{P(x|w_i)P(w_i)}{\displaystyle\sum_{j=0}^n\ P(x|w_j)P(w_j)} P(wi∣x)=j=0∑n P(x∣wj)P(wj)P(x∣wi)P(wi)
故我们可以用计算机来实现人类的这种分类判断思维。
基础概念
接上式:
w i w_i wi:第i类
先验概率: P ( w i ) P(w_i) P(wi)表示类 w i w_i wi出现的概率。即在硬币中,不考虑其他任何因素,出现五角的概率。
后验概率: P ( w i ∣ x ) P(w_i|x) P(wi∣x)表示 x x x出现的条件下类 w i w_i wi出现的概率。即 x x x来自类 w i w_i wi的概率。
类条件概率: P ( x ∣ w i ) P(x|w_i) P(x∣wi)表示类 w i w_i wi中出现 x x x的概率。
前提
对象的观察值是随机的,服从一定的概率分布。
要求
要 求 { 各 类 别 总 体 概 率 分 布 已 知 , 即 P ( w i ) 、 P ( x ∣ w i ) 已 知 类 别 一 定 要求\begin{cases} 各类别总体概率分布已知,即P(w_i)、P(x|w_i)已知\\ 类别一定\\ \end{cases} 要求{ 各类别总体概率分布已知,即P(wi)、P(x∣wi)已知类别一定
基本流程
显然,由前面我们可以知道: P ( w i ) 、 P ( x ∣ w i ) P(w_i)、P(x|w_i) P(wi)、P(x∣wi)已知。我们可以计算出未知样本的所有类别的后验概率 P ( w i ∣ x ) P(w_i|x) P(wi∣x),这时我们再通过一定判断准则选出最终类别结果。这就是比较简单的分类流程。
我们先从简单的决策判断入手。
决策判断
基于最小错误率的贝叶斯决策
分类准则
错误率最小,也就是如果我们将样本分类为 w i w_i wi类所导致的错误率最小。
合理决策依据
根据后验概率 P ( w i ∣ x ) P(w_i|x) P(wi∣x)决策
决策规则
针对二分类来说:
若 P ( w 1 ∣ x ) > P ( w 2 ∣ x ) P(w_1|x)>P(w_2|x) P(w1∣x)>P(w2∣x) x ∈ w 1 x\in w_1 x∈w1
若 P ( w 1 ∣ x ) < P ( w 2 ∣ x ) P(w_1|x)<P(w_2|x) P(w1∣x)<P(w2∣x) x ∈ w 2 x\in w_2 x∈w2
对于多分类,扩展即可。
决策依据的简单理解
当我们把样本 x x x判断为 w i w_i wi类时,概率为 P ( w i ∣ x ) P(w_i|x) P(wi∣x)。若 x x x并不属于 w i w_i wi类,此时错误率就为 [ 1 − P ( w i ∣ x ) ] [1-P(w_i|x)] [1−P(wi∣x)]。显然, P ( w i ∣ x ) P(w_i|x) P(wi∣x)越大, [ 1 − P ( w i ∣ x ) ] [1-P(w_i|x)] [1−P(wi∣x)]越小,即错误率越小。
决策规则等价形式
① P ( w i ∣ x ) = m a x j = 1 , 2... , c P ( w j ∣ x ) P(w_i|x)=\underset{j=1,2...,c}{max}P(w_j|x) P(wi∣x)=j=1,2...,cmaxP(wj∣x) 则 x ∈ w i 则x\in w_i 则x∈wi
② P ( x ∣ w i ) P ( w i ) = m a x j = 1 , 2... , c P ( x ∣ w i ) P ( w i ) P(x|w_i)P(w_i)=\underset{j=1,2...,c}{max}P(x|w_i)P(w_i) P(x∣wi)P(wi)=j=1,2...,cmaxP(x∣wi)P(wi