先验概率:识别系统预先已知的或者可以估计的模式属于某种类型的概率;\(P(w_i)\) ; \( \sum_{i=1}^c P(w_i) = 1\)
类条件概率密度函数:模式样本x属于某类条件下出现的概率密度分布函数; \(p(x | w_i)\)
后验概率:在某个具体的模式样本x条件下,该样本属于某种类型的概率;\(P( w_i | x)\) ; \( \sum_{i=1}^c P(w_i | x) = 1\)
贝叶斯公式:\( P(w_i|x) = P(w_i)p(x|w_i) / p(x)\)
全概率公式:\( p(x) = \sum_{i=1}^c P(w_i)p(x|w_i) \)
因此对于两类\( w_1, W_2\)问题,
\(若 P(w_1)p(x|w_1) > P(w_2)p(x|w_2) \,\, 则 x \in w_1 \)
\(若 P(w_1)p(x|w_1) < P(w_2)p(x|w_2) \,\, 则 x \in w_2 \)
1. 最小误判概率准则判决
1. 最小误判概率准则
贝叶斯
\(若 P(w_1)p(x|w_1) > P(w_2)p(x|w_2) \,\, 则 x \in w_1 \)
\(若 P(w_1)p(x|w_1) < P(w_2)p(x|w_2) \,\, 则 x \in w_2 \)
另一种等价形式
\(若 P(w_1|x) > P(w_2|x) \,\, 则 x \in w_1 \)
\(若 P(w_1|x) < P(w_2|x) \,\, 则 x \in w_2 \)
对于多类问题:
\(如果 P(w_i)p(x|w_i) > P(w_j)p(x|w_j) \,\, \forall j \neq i \,\,则判 x \in w_i \)
\(如果 P(w_i|x) > P(w_j|x) \,\, \forall j \neq i \,\,则判 x \in w_i \)
\(\large 如果 l_{ij}(x) = \frac{ p(x|w_i) }{ p(x|w_j) } > \frac{ P(w_j) }{ P(w_i) } = \theta_{ij} \,\, \forall j \neq i \,\,则判 x \in w_i \)
2. 正态模式最小误判概率判决规则的具体形式
在c类问题中,属于\( w_i\)类的n维模式x的多变量正态分布密度函数为:
\( \large p(x|w_i) = \frac{1 }{ (2 \pi)^{n/2} |\sum_i|^{1/2}} exp[ -\frac{1}{2} (x-\mu_i)^T [\sum(x-\mu_i)]^{-1} ] \)
\( w_i\)类的判决函数为 \( d_i(x) = p(x|w_i)P(w_i)\)
进一步\( w_i\)类的判决函数可表示为: \(\large d_i(x) = lnP(w_i) - \frac{n}{2} ln(2\pi) - \frac{1}{2} ln |\sum_i| - \frac{1}{2} (x-\mu_i)^T [\sum(x-\mu_i)]^{-1} \)
2. 最小损失准则判决
从不同性质的错误会引起不同程度的损失
c个类别,a个决策\( \alpha_1, \alpha_2 ... \alpha_a\)
对一个实属\(w_i\)类的模式采用了决策\(\alpha_j\)所造成的损失记为 \(\lambda_{ij}\)
\(\lambda_{ij} = \left\{\begin{matrix} 0 & i=j\\ 1 & i \neq j \end{matrix}\right.\)
令决策的数目a等于类数c,如果决策\(\alpha_j\)定义为判x属于\(w_j\)类,那么对于给定的模式x在采取决策\(\alpha_j\)的条件下的损失的期望为:
\(R_j(x) = R(\alpha_j|x) = \sum_{i=1}^c \lambda_{ij}P(w_i|x)\) (j=1,2...,c)
由条件平局损失\(R_j(x) \),可以引入最小条件平均损失的判决规则:如果\(R_j(x) = min[ R_j(x) ] \), 则判 \(x\in w_j\)
对于两类问题:
\(R_1(x) =[ \lambda_{11}p(x|w_1)P(w_1) + \lambda_{21}p(x|w_2)P(w_2)] /p(x) \)
\(R_2(x) =[ \lambda_{12}p(x|w_1)P(w_1) + \lambda_{22}p(x|w_2)P(w_2)] /p(x) \)
如果 \(R_1(x) < R_2(x) \) 则 \( x \in w_1\) , 反之亦然