基于朴素贝叶斯分类方法个人总结

贝叶斯决策理论定义

贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。

假设有一个数据集，它由两类数据组成，数据分布如图所示：

现在用p1(x,y)表示数据点(x,y)属于类型1（图中圆形表示的类型）的概率，用p2(x,y)表示数据点(x,y)属于类型2（图中加号表示的类型）的概率，那么对于一个新的数据点(x,y)，可以用下面的规则来判断它的类别：

1. 如果p1(x,y)>p2(x,y)，那么为类别1。
2. 如果p1(x,y)<p2(x,y)，那么为类别2。

也就是说，我们会选择高概率对应的类别。这就是贝叶斯决策理论的核心思想，即选择最高概率的决策。

使用条件概率分类

上面提到的p1，p2只是为了尽可能简化描述，真正需要计算和比较的是$p(c_1|x,y)$和$p(c_2|x,y)$。符号表达的具体意义是：
给定某个由x，y表示的数据点，那么该数据点来自类别$c_1$的概率是多少？数据点来自类别$c_2$的概率又是多少？通过贝叶斯准则可以得到：
$$p(c_i|x,y)=\frac{p(x,y|c_i)p(c_i)}{p(x,y)}$$
使用这些定义，可以定义贝叶斯分类准则为：

1. 如果$p(c_1|x,y)>p(c_2|x,y)$，那么属于类别$c_1$
2. 如果$p(c_1|x,y)<p(c_2|x,y)$，那么属于类别$c_2$