04-统计判决

先验概率：识别系统预先已知的或者可以估计的模式属于某种类型的概率；\(P(w_i)\) ;  \( \sum_{i=1}^c P(w_i) = 1\)
类条件概率密度函数：模式样本x属于某类条件下出现的概率密度分布函数； \(p(x | w_i)\)
后验概率：在某个具体的模式样本x条件下，该样本属于某种类型的概率；\(P( w_i | x)\) ;  \( \sum_{i=1}^c P(w_i | x) = 1\)
贝叶斯公式：\( P(w_i|x) = P(w_i)p(x|w_i) / p(x)\)
全概率公式：\( p(x) =  \sum_{i=1}^c P(w_i)p(x|w_i) \)
因此对于两类\( w_1, W_2\)问题，
\(若  P(w_1)p(x|w_1)  > P(w_2)p(x|w_2) \,\, 则 x \in w_1 \)
\(若  P(w_1)p(x|w_1)  < P(w_2)p(x|w_2) \,\, 则 x \in w_2 \)

1. 最小误判概率准则判决

1. 最小误判概率准则

贝叶斯
\(若  P(w_1)p(x|w_1)  > P(w_2)p(x|w_2) \,\, 则 x \in w_1 \)
\(若  P(w_1)p(x|w_1)  < P(w_2)p(x|w_2) \,\, 则 x \in w_2 \)
另一种等价形式
\(若  P(w_1|x)  > P(w_2|x) \,\, 则 x \in w_1 \)
\(若  P(w_1|x)  < P(w_2|x) \,\, 则 x \in w_2 \)
对于多类问题：
\(如果  P(w_i)p(x|w_i)  > P(w_j)p(x|w_j) \,\,  \forall j \neq i \,\,则判 x \in w_i \)
\(如果  P(w_i|x)  > P(w_j|x) \,\,  \forall j \neq i \,\,则判 x \in w_i \)
\(\large 如果  l_{ij}(x) = \frac{ p(x|w_i) }{ p(x|w_j) }  > \frac{ P(w_j) }{ P(w_i) } = \theta_{ij} \,\,  \forall j \neq i \,\,则判 x \in w_i \)

2. 正态模式最小误判概率判决规则的具体形式

在c类问题中，属于\( w_i\)类的n维模式x的多变量正态分布密度函数为：
\( \large  p(x|w_i) = \frac{1 }{ (2 \pi)^{n/2} |\sum_i|^{1/2}} exp[ -\frac{1}{2} (x-\mu_i)^T [\sum(x-\mu_i)]^{-1} ] \)
\( w_i\)类的判决函数为 \( d_i(x) = p(x|w_i)P(w_i)\)
进一步\( w_i\)类的判决函数可表示为： \(\large d_i(x) = lnP(w_i) - \frac{n}{2} ln(2\pi) - \frac{1}{2} ln |\sum_i| - \frac{1}{2} (x-\mu_i)^T [\sum(x-\mu_i)]^{-1}  \)

2. 最小损失准则判决

从不同性质的错误会引起不同程度的损失
c个类别，a个决策\( \alpha_1, \alpha_2 ... \alpha_a\)
对一个实属\(w_i\)类的模式采用了决策\(\alpha_j\)所造成的损失记为 \(\lambda_{ij}\)
 \(\lambda_{ij} = \left\{\begin{matrix} 0 & i=j\\ 1 & i \neq j \end{matrix}\right.\)
令决策的数目a等于类数c，如果决策\(\alpha_j\)定义为判x属于\(w_j\)类，那么对于给定的模式x在采取决策\(\alpha_j\)的条件下的损失的期望为：
\(R_j(x) = R(\alpha_j|x) = \sum_{i=1}^c \lambda_{ij}P(w_i|x)\)  (j=1,2...,c)
由条件平局损失\(R_j(x) \)，可以引入最小条件平均损失的判决规则：如果\(R_j(x) = min[ R_j(x) ] \)， 则判 \(x\in w_j\)
对于两类问题：
\(R_1(x) =[ \lambda_{11}p(x|w_1)P(w_1) +  \lambda_{21}p(x|w_2)P(w_2)] /p(x) \) 
\(R_2(x) =[ \lambda_{12}p(x|w_1)P(w_1) +  \lambda_{22}p(x|w_2)P(w_2)] /p(x) \) 
如果 \(R_1(x) < R_2(x) \) 则 \( x \in w_1\) ， 反之亦然