分类问题：朴素贝叶斯与逻辑回归

贝叶斯决策理论

朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素贝叶斯之前有必要快速了解一下贝叶斯决策理论。

贝叶斯决策理论的核心思想，即选择具有最高概率的决策。

贝叶斯准则告诉我们如何交换条件概率中

的条件与结果，即如果已知P(x|c)，要求P(c|x)，那么可以使用下面的计算方法：

P(c∣x)=P(x∣c)P©P(x)
P(c|x)=\frac{P(x|c)P©}{P(x)}
P(c∣x)= P(x)P(x∣c)P©
则同理可得，若给定某个由x、y表示的数据点，那么该数据点来自类别c1的概率可通过如下公式计算：
P(ci∣x,y)=P(x,y∣ci)P(ci)P(x,y)
P(c_{i}|x,y)=\frac{P(x,y|c_{i})P(c_{i})}{P(x,y)}
P(c i∣x,y)= P(x,y)P(x,y∣c i)P(ci )

由此，定义贝叶斯分类准则为：

如果P(c1|x, y) > P(c2|x, y)，那么属于类别c1。

如果P(c1|x, y) < P(c2|x, y)，那么属于类别c2。

二、朴素贝叶斯算法简介

我们称之为“朴素”，是因为整个形式化过程只做最原始、最简单的假设。

优缺点：

优点：在数据较少的情况下仍然有效，可以处理多类别问题。

缺点：对于输入数据的准备方式较为敏感；由于朴素贝叶斯的**“朴素”特点**，所以会带来一些准确率上的损失。

适用数据类型：

标称型数据

朴素贝叶斯的一般过程：

收