探讨不确定情况下的决策概率理论与贝叶斯规则-CSDN博客

本文链接：https://blog.csdn.net/sherlockzoom/article/details/45168633

讨论在不确定情况下决策的概率理论框架。在分类中，贝叶斯规则用来计算类的概率。会讨论推广到怎样做出合理的决策将期望风险最小化。

引言

数据来自一个不完全清楚的过程。将该过程作为随机过程建模表明我们缺乏知识，并用概率理论来分析它（也许该过程确定，只是我们没有获取关于它的完全知识的途径）。
我们不能获取的那些额外的数据称为不可观测的变量（unobservable variable），对应的称为可观测的变量。
在此讨论贝叶斯决策，当然应该先介绍一下朴素贝叶斯法了。

朴素贝叶斯法

朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。
根据贝叶斯定理计算后验概率：

P ( Y = c k | X = x ) = P ( X = x | Y = c k ) P ( Y = c k ) \sum k P ( X = x | Y = c k ) P ( Y = c k )

$P(Y=c_k|X=x)=\frac{P(X=x|Y=c_k)P(Y=c_k)}{\sum_kP(X=x|Y=c_k)P(Y=c_k)}$
后验概率最大化：

f ( x ) = a r g m a x k P ( c k | X = x )

$f(x)=\mathop{argmax}_{k}P(c_k|X=x)$
定义0-1损失函数(zero-one loss)：

λ i k = { 0 如果 i = k 1 如果 i \neq k

$\lambda_{ik}= \begin{cases} 0& \text{如果 i = k}\\ 1& \text{如果 i $\neq$k} \end{cases}$
所有正确的决策没有损失，并且所有错误具有相同的代价。采取工作

α i

$\alpha_i$ 的风险是

R ( α i | x ) = \sum k = 1 k ( λ i k P ( C k | x ) ) = \sum k \neq i P ( C k | x ) = 1 - P ( C i | x )

$\begin{equation} \begin{aligned} R(\alpha_i|\bf{x})&=\sum_{k=1}^k(\lambda_{ik}P(C_k|\bf{x}))\\ &=\sum_{k \neq i}P(C_k|\bf {x})\\ &=1-P(C_i|\bf{x}) \end{aligned} \end{equation}$

在一些应用中，错误的决策也许会有很高的代价。一般情况，如果自动系统对它的决策的把握较低，则需要一个更复杂的决策（如人工的）。
一个可能的损失函数如下: