朴素贝叶斯分类：用概率做决策

贝叶斯原理

贝叶斯原理产生于“逆向概率”，所谓“逆向概率”相对于“正向概率”，正向概率即我们熟知的概率，已知条件，求解概率（例如一个盒子放3个白球，4个黑球，摸出白球的概率是3/7），这是一种先知情况下求解概率的方式。而“逆向概率”则不知道样本的分布情况，去求解各个样本的概率。

为了了解贝叶斯原理，我们先要理解几个贝叶斯原理中的概念

先验概率

先验概率可以理解为先人的经验概率，通过以往的数据，来推测事件发生的可能性，例如北京市下半年某一天降雨的可能性为5/180，是基于北京市以往下半年降雨的数据验证而来的。

条件概率

事件A在另一事件B发生后发生的概率，写作P(A|B)，比如在盒子中已经摸出一个黑球的情况下摸出白球的概率。

后验概率

后验概率是在得知结果后，推测产生结果的原因的概率。例如考试取得高分的原因有好好复习、考试带小抄、到老师办公室偷偷改分数三种。那么当CP考试得高分，其原因为好好复习的概率就是后验概率。

接着我们来看一下贝叶斯公式：
$$P(B_i|A)=\frac{P(B_i)P(A|B_i)}{{\sum }_{i=1}^{n}P(B_i)P(A|B_i)}$$

这里面的概率应该都好理解（只要你理解了条件概率），其中$B_i$表示第$i$个事件，这里解释一下$P(B_i)P(A|B_i)$，从字面上看，它是发生$B_i$，在此情况下发生$A$的概率，其等于联合概率$P(B_i,A)$。理论的叙述可能难以理解，我们用考试得高分这个例子来说明：

设考试取得高分为A，好好复习是$B_1$，考试带小抄是$B_2$，到老师办公室偷偷改分数是$B_3$。由于CP是个好学生，所以其会好好复习的概率$P(B_1)$是$\frac{7}{10}$ ，考试带小抄的概率$P(B_2)$是$\frac{2}{10}$，到老师办公室偷偷改分数的概率$P(B_3)$是$\frac{1}{10}$。而其如果好好复习能够拿到高分的概率$P(A|B_1)$是$\frac{1}{5}$，因为带小抄得高分的概率是$\frac{1}{5}$，因为偷改分数而得高分的概率是$\frac{3}{5}$。现在班主任发现CP得了高分，想知道他得高分是因为好好复习的概率，即
P ( B 1 ∣ A ) = 7 10 ∗ 1 5 7 10 ∗ 1 5 + 2 10 ∗ 1 5 + 1 10 ∗ 3 5 = 7 12 P(B_1|A) = \frac{\frac{7}{10}*\frac{1}{5}}{\frac{7}{10}*\frac{1}{5} + \frac{2}{10}*\frac{1}{5} + \frac{1}{10}*\frac{3}{5}} = \frac{7}{12} P(B1​∣A)=107​∗