【基础算法】朴素贝叶斯演算法(Naive Bayes)概述及Python实践

贝叶斯演算法

原理：透过概率论中的条件概率进行分类。会称谓’朴素’是因为整个形式化的过程只做最原始、最简单的假设。

目标：分类未知类别的案例，用以理解数据中所蕴涵的知识讯息

优点：在数据教少时仍然有效，可以处理多类别问题

缺点：对输入数据的准备方式较为敏感

适用数据：标称型

输入：未知类别的实例

输出：输入实例的类别

---

工作原理

朴素贝叶斯算法是基于贝叶斯定理与特征条件独立假设的分类方法。

贝叶斯定理

P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。其基本求解公式为：
贝叶斯定理便是基于条件概率，通过P(A|B)来求P(B|A)：
上式中的分母P(A),可以根据全概率公式分解为：

特征条件独立假设

给定训练数据集（X,Y），其中每个样本x都包括n维特征，即$x=(x_1,x_2,x_3,...,x_n)$，类标记集合含有k种类别，即$y=(y1,y2,...,yk)$。

如果现在来了一个新样本x，这个问题就是给定x，它属于哪个类别的概率最大。
即$P(y_1|x),P(y_2|x),...,P(y_k|x)$ 求后验概率最大的输出:$argma{x}_{y_k}P(y_k|x)$
而 P ( y k ∣