让你奶奶轻松搞懂Naive Bayes的理论与实践

这篇是从我的简书账号移植过来的 ，因为之前简书出了一些问题，所以有些格式无法完美兼容，所以附上链接，同学们请点我

stay simple,stay naive

hahaha，今天连文章的第一句话都改了。
不过，我标题党了… …毕竟你奶奶可能连概率是什么都不知道，而我这里没有基础的教学。之所以取这个名字是因为，你只要顺着我的思路认真读下去，可以清楚地融会贯通Naive Bayes，搞懂它的原理。

朴素贝叶斯（Naive Bayes）是基于贝叶斯定理和特征条件独立假设的分类方法。
换句话说，Naive Bayes的构造基础是贝叶斯定理，基本数学假设是：输入数据在各个维度上的特征被分类的条件概率之间是相互独立的。

本文将从朴素贝叶斯的算法出发，一点一点的剖析算法的原理，分析清楚朴素贝叶斯为什么要这样进行运算。
最后。上手实践。

---

朴素贝叶斯算法(naive Bayes algorithm)
输入：训练数据 T = {(x~1~,y~1~),(x~2~,y~2~),(x~3~,y~3~),···,(x~N~,y~N~)}
其中x~i~ = (x~i~^(1)^, x~i~^(2)^, …, x~i~^(n)^)^T^，x~i~代表一条实例，这个数据集中每一条实例都由n个维度组成。
x~i~^(j)^是训练数据中第i个样本的第j维特征。
x~i~^(j)^∈{a~j1~, a~j2~, a~j3~, a~j4~, …, a~jS~}，说明j维可以在a这个集合中取值。
y~i~是x~i~这个实例对应的类别，有可能是c~1~，c~2~，c~3~，··· ， c~K~。
输出：实例x的分类
1. 计算先验概率及条件概率
2. 根据输入的数据x~i~ = (x~i~^(1)^, x~i~^(2)^, …, x~i~^(n)^)^T^计算后验概率。
3. 最大化后验概率，得到x~i~对应的类别。

---

我知道你没看懂。
因为上述算法只是一个引子，请认真阅读下边的内容，我会从头开始分析，讲清楚上边的算法为什么是这样，引导你真正懂得朴素贝叶斯。

注：
= = 经过之前有一篇文章受累不讨好地使用Latex手打公式，最后还出现了下图错误无法加载的情况，这次我决定手写，同学们就凑合看吧。O__O “…

用通俗的话来讲，朴素贝叶斯，就是要学习一个X与Y的联合概率分布，这个联合概率分布就代表了X与某个Y之间的组合的可能性。这个联合概率分布学好了，就意味着朴素贝叶斯这个模型学好了。有了这个联合概率分布，再给一个输入值x，我想，学过概率的人都应该知道怎么计算在x的条件下的条件概率吧。这就是朴素贝叶斯的基本思路，非常简单，具体怎么计算，向下看。

在使用朴素贝叶斯分类时，有给定的输入x, 和训练得到的P(X, Y)，就可以计算得到模型的后验概率分布P(Y = c~k~ | X = x)，也就是说得到了在X = x的条件下Y = c~k~的概率。最大化P(Y = c~k~ | X = x)，等同于Y = c~k~的概率最大时的那个c~k~，就是这个模型的输出，就是输入x的类别。最大化后验概率，这是后话。这里就来解释一下这个后验概率。

请看上图，公式（1࿰