贝叶斯决策定理

• 讨论在不确定情况下决策的概率理论框架。在分类中，贝叶斯规则用来计算类的概率。会讨论推广到怎样做出合理的决策将期望风险最小化。

引言

数据来自一个不完全清楚的过程。将该过程作为随机过程建模表明我们缺乏知识，并用概率理论来分析它（也许该过程确定，只是我们没有获取关于它的完全知识的途径）。
我们不能获取的那些额外的数据称为不可观测的变量（unobservable variable），对应的称为可观测的变量。
在此讨论贝叶斯决策，当然应该先介绍一下朴素贝叶斯法了。

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
根据贝叶斯定理计算后验概率：

$$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$$
后验概率最大化：
$$f(x)=\mathop{argmax}_{k}P(c_k|X=x)$$
定义0-1损失函数(zero-one loss)：
$$\lambda_{ik}= \begin{cases} 0& \text{如果 i = k}\\ 1& \text{如果 i $\neq$k} \end{cases}$$
所有正确的决策没有损失，并且所有错误具有相同的代价。采取工作 $\alpha_i$ 的风险是

$$\begin{equation} \begin{aligned} R(\alpha_i|\bf{x})&=\sum_{k=1}^k(\lambda_{ik}P(C_k|\bf{x}))\\ &=\sum_{k \neq i}P(C_k|\bf {x})\\ &=1-P(C_i|\bf{x}) \end{aligned} \end{equation}$$

在一些应用中，错误的决策也许会有很高的代价。一般情况，如果自动系统对它的决策的把握较低，则需要一个更复杂的决策（如人工的）。
一个可能的损失函数如下:

$$\lambda_{ik}= \begin{cases} 0& \text{如果 i = k}\\ \lambda& \text{如果 i = K + 1}\\ 1& \text{如果 i $\neq$k} \end{cases}$$