Naive Bayes（朴素贝叶斯）

Naive Bayes

Bayes’ theorem(贝叶斯法则)

在概率论和统计学中，Bayes’ theorem（贝叶斯法则）根据事件的先验知识描述事件的概率。贝叶斯法则表达式如下所示：

$$\begin{align} P(A|B)=\frac{P(B|A)P(A)}{P(B)} \end{align}$$

• P(A|B) – 在事件B下事件A发生的条件概率
• P(B|A) – 在事件A下事件B发生的条件概率
• P(A), P(B) – 独立事件A和独立事件B的边缘概率

Bayesian inferenc(贝叶斯推断)

贝叶斯定理的许多应用之一就是贝叶斯推断，一种特殊的统计推断方法，随着信息增加，贝叶斯定理可以用于更新假设的概率。在决策理论中，贝叶斯推断与主观概率密切相关，通常被称为“Bayesian probability(贝叶斯概率)”。

贝叶斯推断根据 prior probability(先验概率) 和统计模型导出的“likelihood function(似然函数)”的结果，再由贝叶斯定理计算 posterior probability(后验概率)：

$$\begin{align} P(H|E)=\frac{P(E|H)P(H)}{P(E)} \end{align}$$

• P(H) – 已知的先验概率
• P(H|E) – 我们想求的后验概率，即在B事件发生后对于事件A概率的评估
• P(E|H) – 在事件H下观测到E的概率
• P(E) – marginal likelihood(边际似然)，对于所有的假设都是相同的，因此不参与决定不同假设的相对概率
• P(E|H)/P(E) – likelihood function(可能性函数)，这是一个调整因子，通过不断的获取信息，可以使得预估概率更接近真实概率

贝叶斯推断例子

假设我们有两个装满了饼干的碗，第一个碗里有10个巧克力饼干和30个普通饼干，第二个碗里两种饼干都有20个。我们随机挑一个碗，再在碗里随机挑饼干。那么我们挑到的普通饼干来自一号碗的概率有多少？

我们用 H1 代表一号碗，H2 代表二号碗，而且 P(H1) = P(H2) = 0.5。事件 E 代表普通饼干。由上面可以得到 P(E|H1) = 30 / 40 = 0.75，P(E|H2) = 20 / 40 = 0.5。由贝叶斯定理我们可以得到：