朴素贝叶斯的数学原理，完全手推，一针见血

朴素贝叶斯模型是一种生成式机器学习模型，其模型的数学原理是贝叶斯公式。本文假设读者已经有了概率论的知识。
贝叶斯公式如下：
$$\begin{array}{r}P(Y|X)=\frac{P(XY)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}\end{array}\text{\hspace{1em}(1)}$$
贝叶斯公式反映了先验概率和后验概率之间的关系，即$P(X|Y)$和$P(Y|X)$的关系，我们以分类问题为基础赋予式$(1)$现实意义，得到式$(2)$
$$\begin{array}{r}P(C|X)=\frac{P(X|C)P(C)}{P(X)}\end{array}\text{\hspace{1em}(2)}$$
其中X指的是特征向量,$X=(x_1,x_2,...,x_n)$。$C$是$X$属于的具体类别。通过已有的数据集可以得到先验$P(X|C)$和类别总占比$P(C)$，并且$P(X)=1$，即可计算出$P(C|X)$。式$(2)$进一步变为：
$$\begin{array}{r}P(C|X)=P(X|C)P(C)\end{array}\text{\hspace{1em}(3)}$$
代入特征向量$X$的具体形式
$$\begin{array}{r}P(C|X)=P(x_1,x_2,...,x_n|C)P(C)\end{array}\text{\hspace{1em}(4)}$$
所以关键在于求$P(x_1,x_2,...,x_n|C)$,由条件概率公式得
$$\begin{array}{r}P(x_1,x_2,...,x_n|C)=\frac{P(x_1,x_2,...,x_n,C)}{P(C)}\end{array}\text{\hspace{1em}(5)}$$
式$(5)$代入式$(4)$得到:
$$\begin{array}{r}P(C|X)=P(x_1,x_2,...,x_n,C)\end{array}\text{\hspace{1em}(6)}$$
即求一个多维联合概率分布，由联合概率的链式法则易知：
$$\begin{array}{r}P(C|X)=P(x_1|x_2,...,x_n,C)P(x_2|x_3...x_n,C)...P(x_n|C)P(C)\end{array}\text{\hspace{1em}(7)}$$
以上的每一个概率在现实问题中都不好求，因此有了贝叶斯分类器最重要的限制：假设给定的类别，所有的特征相互独立。
于是有：
$$\begin{array}{r}P(C|X)=P(x_1|C)P(x_2|C)...P(x_n|C)P(C)=P(C)\prod _{i=1}^{n}P(x_i|C)\end{array}\text{\hspace{1em}(8)}$$
最终得到朴素贝叶斯的数学模型如下：
$$\begin{array}{r}argma{x}_{K}P(C_K|X)=P(C_K)\prod _{i=1}^{n}P(x_i|C_K)\end{array}\text{\hspace{1em}(9)}$$
朴素贝叶斯模型的训练过程简单，就是根据所给的数据建立一个先验概率表，对于一个新的特征只需要查表计算所有类别的后验概率大小，最大的概率值对应的那个类别即是新特征送入朴素贝叶斯分类器的分类结果。
朴素贝叶斯分类器有如下的几点注意事项：
①如果需要分类的事件特征中有新的特征分量，那么使用拉普拉斯平滑技术给对应条件概率的分子分母同时加上一个数，一般是1，称为拉普拉斯平滑系数，作用是避免先验概率连乘时出现$0$。
②朴素贝叶斯模型分为：高斯模型(连续)、多项式模型(离散)和贝努利模型(二值)，如果分类的特征中有离散和连续两种特征，有两种方法可以解决这个问题。第一种方法是连续特征离散化，将特征变为全部离散的形式，使用多项式模型。第二种方法是连续特征用高斯模型拟合、离散特征用多项式模型拟合，最后结合成为一个元模型。
③现实中的分类问题往往特征巨大，而$0-1$之间的小数连乘会导致结果数值越来越小，有可能出现数值溢出，使得模型失效。模型两边取对数，连乘变连加即可解决这个问题。