贝叶斯决策论小结

　　贝叶斯决策论是解决模式分类问题的一种基本统计途径。其假设：决策问题可以用概率的形式来描述，并且所有有关的概率结构均已知。现对其进行一下简单的总结。

贝叶斯决策准则

　　按照不同决策标准，会得到不同意义下的最优决策。
　　最小错误率准则
　　最小风险准则
　　最小最大决策准则
　　Neyman-Pearson准则

最小错误率准则

　　若样本$x$为类别$w_{j}$的概率为$P(w_{j}|x)$，对二分类问题，当$P(w_{1}|x)>P(w_{2}|x)$时，更倾向于把$x$判为类别$w_{1}$。
　　则得到误差概率如下：
　　$P(error|x) = \left\{\begin{matrix} P(w_{1}|x)& 如果判断为w_{2} \\ P(w_{2}|x) & 如果判断为w_{1} \end{matrix}\right.$
　　我们希望平均误差概率最小，
　　$P(error)=\int_{-\infty}^{+\infty}P(error, x)dx=\int_{-\infty}^{+\infty}P(error| x)p(x)dx$
　　对任意的$x$，我们只要保证$P(error|x)$尽量地小，则$P(error)$则会尽量地小。
　　此时$P(error|x)=min[P(w_{1}|x), P(w_{2}|x)]$
　　因此，得到了最小误差率下的贝叶斯决策准则：如果$P(w_{1}|x)>P(w_{2}|x)$，则判为$w_{1}$，否则判为$w_{2}$.
　　根据条件概率，可以将上式转换为$P(x|w)和P(w)$的形式来描述：如果 P(x|w1)P(