[贝叶斯二]之贝叶斯决策

生活中的许多决策都是不确定性的，比如明天是否下雨，我需要带伞么？这个时候就需要我们做出决策，如果认为明天会下雨，显然我们就会带上伞，否则不然。那么这个时候我们怎么判断我们的决策是否可信？又是否是最佳的决策呢？这个时候往往就需要引入评价准则(evaluation criteria)。不同的评价准则在相同的决策机制中往往会导致不同的决策结果。

贝叶斯决策常用的评价准则一般如下。

• 最小错误概率(The minimum probability of error, the decision is optimal in the sense of minimum PE).
• 最小风险误差(the minimum risk, the decision is optimal in the sense of minimum average risk).
• 个人准则(we should construct the decision rule to have maximum probability of detection while not allowing the probability of false alarm to exceed a certain value.)

一、贝叶斯决策理论

上述准则使用将在贝叶斯决策理论之后进行介绍。接下来，我们将详细的讲述贝叶斯决策理论。我们假设一个样本的特征向量$x=[x_1 x_2…… x_l]^T$. 而这个样本可能属于的类别空间为$Ω= \{w_1 w_2…… w_M \}$，那么贝叶斯决策理论就是计算出每个后验概率(给出一个样本$X$，计算出样本X属于类别 $w_i$的概率)，并找到最佳的类别$w$，判别该样本属于$w$。

$$if P(w_i|x) \rightarrow max \Rightarrow x \rightarrow w_i$$
那么我们该如何计算出这个后验概率呢？答案当然是贝叶斯定理，如果我们能得到所有的先验概率 $P(w_1 ) , P(w_2 ) ……P(w_M )$，以及样本 $x$ 关于类别 $w_i$的似然.

P(x|w