西瓜书——极大似然估计和朴素贝叶斯

1、贝叶斯判定准则

贝叶斯判定准则：为最小化风险，只需要在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即$$h^{\ast }(x)=argmi{n}_{c\in y}R(c|x)$$此时，$h^{\ast }$称为贝叶斯最优分类器。需要注意一下，$R(c|x)$表示对单个样本的来说产生的条件风险，而$h^{\ast }(x)$的输入也是单个样本，也就是说给定单个样本x，传入$h^{\ast }(x)$之后，输出是一个类别标记。这个类别标记满足使得$R(c|x)$取到最小值，所以这里的$h^{\ast }(x)$和平时讲的分类模型是一样的，都是给定一个$x$，能够马上判断出$x$所属的类别$c$。

已知条件风险$R(c|X)$的计算公式为 $$R(c_i|x)=\sum _{j=1}^N{\lambda }_{ij}P(c_j|x)$$对于这个式子，考察一下它在最小化分类错误率这个具体的场景下是怎么运用的。如果我们的目标是最小化分类错误率，那么误判损失${\lambda }_{ij}$对应的就是0-1损失，也即：$${\lambda }_{ij}=\{\begin{array}{c}0,ifi=j\\ 1,otherwise\end{array}$$观察一下这个式子可以知道，如果分类正确损失就为0，当分类错误的时候损失统一都为1。把这个式子代进$R(c|x)$公式中，可以得到：$$R(c_i|x)=1\ast P(c_1|x)+...+1\ast P(c_{i-1}|x)+0\ast P(c_i|x)+1\ast P(c_{i+1}|x)+...+1\ast P(c_N|x)$$这个式子其实就是前面的式子，把求和符号展开，以及把误判损失${\lambda }_{ij}$换成具体的数值得到的式子。公式中的第一个1代表的就是${\lambda }_{i1}$，公式中的0代表的就是${\lambda }_{ii}$。把这个式子整理一下，把含有0的项省略，就得到下面的式子：$$R(c_i|x)=P(c_1|x)+...+P(c_{i-1}|x)+P(c_{i+1}|x)+...+P(c_N|x)$$对于这个式子，可以进行进一步的化简，样本x分为每个类别的概率之和为1，也就是：$$P(c_1|x)+...+P(c_n|x)=1$$相比于$R(c_i|x)$的公式，该公式仅仅多了一个$P(c_i|x)$。所以$R(c_i|x)$公式可以表示为：$$R(c_i|x)=1-P(c_i|x)$$这个公式就是西瓜书上的公式7.5。现在把$R(c_i|x)$代回到前面的贝叶斯判定准则，最小化错误率的贝叶斯最优分类器为：$$h^{\ast }(x)=argmi{n}_{c\in y}R(c|x)=argmi{n}_{c\in y}(1-P(c|x))=argma{x}_{c\in y}P(c|x)$$也就是说，我们最开始要找的$h^{\ast }(x)$是要找使得$R(c|x)$条件风险取到最小的类标记c。如今在我们最小化分类错误率的情形下，条件风险$R(c|x)$等价于$1-P(c|x)$，这时候要找使得$1-P(c|x)$取得最小值的类标记等价于找到使得$P(c|x)$取到最大值的类别标记c。

所以我们的问题由最开始的最小化条件风险转化为最大化后验概率$P(c|x)$，到这里我们就已经知道了怎样对最小化错误率的贝叶斯最优分类器进行建模。而且$P(c|x)$是可以进行建模和计算的。接下来先不讲如何建模$P(c|x)$，先来讲一下多元正态分布参数的极大似然估计。因为这个知识点在后面讲如何建模计算$P(c|x)$的时候会用到。所以接下来先来讲一下多元正态分布参数的极大似然估计。

2、多元正态分布参数的极大似然估计

极大似然估计法的核心在于要确定似然函数，因为确定似然函数以后只需要对似然函数进行求最大值，就能解出想要的参数。在极大似然估计法中，通常不会直接对似然函数求最大值，通常是对对数似然函数求最大值，也就是说把似然函数整体取对数后再进行求最大值。对似然函数整体取对数的原因是在求最大值的时候通常要进行求导，如果直接对似然函数进行球求导会很麻烦，取对数之后再进行求导计算会方便很多。西瓜书上也给出另一个解释，原先的似然函数是含有连乘操作的，而连乘操作容易造成下溢，所以整体取对数之后就可以避免下溢。总的来说，对似然函数整体取对数仅仅是为了方便计算。

已知对数似然函数的表达式为：$$LL({\theta }_c)=\sum _{x\in D_c}logP(x|{\theta }_c)$$对于这个式子，需要说明一点，西瓜书上取对数的时候直接写的是$log$，也就是说书上并没有明确地指明这个对数的底数是多少；实际上，只要保证对数是单调递增的就可以了。所以log的底数取2或者10或者e都是可以的，通常是取自然常数e为底数。为了便于后面的计算，令log的底数为e，则对数似然函数可化为：$$LL({\theta }_c)=\sum _{x\in D_c}lnP(x|{\theta }_c)$$观察这个式子，可以知道，如果公式中的$x$是离散的，$P(x|{\theta }_c)$表示的就是$x$的分布率，如果$x$是连续型的，那么$P(x|{\theta }_c)$表示的就是$x$的概率密度函数。这里我们假定$x$是服从多元正态分布，所以只需要把$P(x|{\theta }_c)$换成多元正态分布的概率密度函数。下面的就是多元正态概率密度函数的公式，它和一元正态分布的概率密度函数是很类似的。

由于$P(x|{\theta }_c)=P(x|c)\sim N({\mu }_c,{\sigma }_c^2)$，那么$$P(x|{\theta }_c)=\frac{1}{\sqrt{(2\pi {)}^d|{\sum }_c|}}exp(-\frac{1}{2}(x-{\mu }_c{)}^T\sum _c^{-1}(x-{\mu }_c))$$其中，$d$表示$x$的维数，$x$一般都是$d$行1列的列向量，这个d和公式中的d是等价的。也就是说如果x是一个5行1列的列向量，那么d=5。${\sum }_c={\sigma }_c^2$为对称正定协方差矩阵，类比一元正态分布，在一元正态分布中，${\sigma }_c^2$表示的是方差，在多元正态分布里面，表示的就是协方差矩阵，这个矩阵是对称正定的。$|{\sum }_c|$表示${\sum }_c$的行列式，将上式代入到对数似然函数可得$$LL({\theta }_c)=\sum _{x\in D_c}ln[\frac{1}{\sqrt{(2\pi {)}^d|{\sum }_c|}}exp(-\frac{1}{2}(x-{\mu }_c{)}^T\sum _c^{-1}(x-{\mu }_c))]$$这样就得到了一个对数似然函数的具体表达式，接下来为了便于后续计算，对对数似然函数进行一个恒等变形。

首先看一下求和符号${\sum }_{x\in D_c}$，这个求和符号的意思是要遍历$D_c$这个集合里面每个样本$x$。令$|D_c|=N$，把公式中的$x$变为$x_i$，则对数似然函数可化为：$$LL({\theta }_c)=\sum _{i=1}^{N}ln[\frac{1}{\sqrt{(2\pi {)}^d|{\sum }_c|}}exp(-\frac{1}{2}(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c))]$$接下来为了方便应用对数的运算法则，把中括号中的式子进行简单的拆分：$$LL({\theta }_c)=\sum _{i=1}^{N}ln[\frac{1}{\sqrt{(2\pi {)}^d}}\frac{1}{|{\sum }_c|}exp(-\frac{1}{2}(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c))]$$$$=\sum _{i=1}^N\left\{ln\frac{1}{\sqrt{(2\pi {)}^d}}+ln\frac{1}{|{\sum }_c|}+ln[exp(-\frac{1}{2}(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c))]\right\}$$$$=\sum _{i=1}^N\left\{-\frac{d}{2}ln(2\pi )-\frac{1}{2}ln|\sum _c|-\frac{1}{2}(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)\right\}$$$$=-\frac{Nd}{2}ln(2\pi )-\frac{N}{2}ln|\sum _c|-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)$$到这里就完成了对数似然函数的恒等变形。接下来就是要求使得对数似然函数取到最大值的${\theta }_c$，这里要注意下，这里说的${\theta }_c$其实就是$|{\sum }_c|$和${\mu }_c$的一个统称。所以说要求使得对数似然函数取得最大值的${\theta }_c$也就是说要求使得对数似然函数取得最大值的$|{\sum }_c|$和${\mu }_c$。用数学语言表达就是下面的式子。

由于参数${\theta }_c$的极大似然估计$\widehat{{\theta }_c}$为$$\widehat{{\theta }_c}=argma{x}_{\widehat{{\theta }_c}}LL({\theta }_c)$$所以接下里只需要求出使得对数似然函数$LL({\theta }_c)$取到最大值的$\widehat{{\mu }_c}$和$\widehat{{\sum }_c}$，也就求出了$\widehat{{\theta }_c}$。

我们只需要令对数似然函数分别关于${\mu }_c$和${\theta }_c$分别求一阶偏导，令其等于零就可以解出我们想要的$\widehat{{\mu }_c}$和$\widehat{{\sum }_c}$。下面首先对对数似然函数关于${\mu }_c$求一阶偏导。

对$LL({\theta }_c)$关于${\mu }_c$求偏导：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=\frac{\partial }{\partial {\mu }_c}[-\frac{Nd}{2}ln(2\pi )-\frac{N}{2}ln|\sum _c|-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$$$=\frac{\partial }{\partial {\mu }_c}[-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$$$=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$得到的公式没有办法对${\mu }_c$求偏导，所以要考虑将公式拆开。考虑$(x_i-{\mu }_c{)}^T$，根据线性代数的知识，转置符号可以直接放进公式里面：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T-{\mu }_c^T)\sum _c^{-1}(x_i-{\mu }_c)]$$接着观察一下式子$[(x_i^T-{\mu }_c^T){\sum }_c^{-1}(x_i-{\mu }_c)]$，${\sum }_c^{-1}$（${\sum }_c$的逆）可以放进公式中，进而可以得到下面的公式：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T-{\mu }_c^T)(\sum _c^{-1}{x}_i-\sum _c^{-1}{\mu }_c)]$$接着把公式中的小括号拆掉，可以得到下面的式子：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T\sum _c^{-1}{x}_i-x_i^T\sum _c^{-1}{\mu }_c-{\mu }_c^T\sum _c^{-1}{x}_i+{\mu }_c^T\sum _c^{-1}{\mu }_c)]$$这个式子可以进一步进行化简，由于$x_i^T{\sum }_c^{-1}{\mu }_c$的计算结果为标量，所以：$$x_i^T\sum _c^{-1}{\mu }_c=(x_i^T\sum _c^{-1}{\mu }_c{)}^T={\mu }_c^T(\sum _c^{-1}{)}^T{x}_i={\mu }_c^T(\sum _c^T{)}^{-1}{x}_i={\mu }_c^T\sum _c^{-1}{x}_i$$公式中求逆运算和转置运算是可以交换的，同时，上面我们已经提到，${\sum }_c$是一个对称正定矩阵，所以转置之后还是本身。

于是求导公式可以进一步化简为：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mu }_c}[(x_i^T\sum _c^{-1}{x}_i-2x_i^T\sum _c^{-1}{\mu }_c+{\mu }_c^T\sum _c^{-1}{\mu }_c)]$$

由矩阵微分公式$\frac{\partial a^{T}x}{\partial x}=a$，$\frac{\partial x^{T}Bx}{\partial x}=(B+B^T)x$，可得：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N[0-(2x_i^T\sum _c^{-1}{)}^T+(\sum _c^{-1}+(\sum _c^{-1}{)}^T){\mu }_c]$$为了便于后续计算，整理一下公式：$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=-\frac{1}{2}\sum _{i=1}^N[-(2(\sum _c^{-1}{)}^T{x}_i)+(\sum _c^{-1}+(\sum _c^{-1}{)}^T){\mu }_c]$$$$=-\frac{1}{2}\sum _{i=1}^N[-(2\sum _c^{-1}{x}_i)+2\sum _c^{-1}{\mu }_c]$$$$=\sum _{i=1}^N\sum _c^{-1}{x}_i-N\sum _c^{-1}{\mu }_c$$这个公式就是对数似然函数关于${\mu }_c$的一阶偏导数，接下来令一阶偏导数等于0，解出我们想要的$\widehat{{\mu }_c}$$$\frac{\partial LL({\theta }_c)}{\partial {\mu }_c}=\sum _{i=1}^N\sum _c^{-1}{x}_i-N\sum _c^{-1}{\mu }_c=0$$将这个式子进行简单的移项可以得到$$\sum _{i=1}^N\sum _c^{-1}{x}_i=N\sum _c^{-1}{\mu }_c$$${\sum }_c^{-1}$是不受求和符号约束的，可以提到前面：$$\sum _c^{-1}\sum _{i=1}^N{x}_i=N\sum _c^{-1}{\mu }_c$$将这个公式左右两边同时乘上${\sum }_c$，可以得到下面的公式：$$N{\mu }_c=\sum _{i=1}^N{x}_i$$$${\mu }_c=\frac{1}{N}\sum _{i=1}^N{x}_i$$令${\hat{\mu }}_c={\mu }_c$，可以得到$${\hat{\mu }}_c=\frac{1}{N}\sum _{i=1}^N{x}_i$$这就是西瓜书中的公式7.12。

对$LL({\theta }_c)$关于${\sum }_c$求偏导：$$\frac{\partial LL({\theta }_c)}{\partial {\sum }_c}=\frac{\partial }{\partial {\sum }_c}[-\frac{Nd}{2}ln(2\pi )-\frac{N}{2}ln|\sum _c|-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$$$=\frac{\partial }{\partial {\sum }_c}[-\frac{N}{2}ln|\sum _c|-\frac{1}{2}\sum _{i=1}^N(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$$$=-\frac{N}{2}\frac{\partial }{\partial {\sum }_c}[ln|\sum _c|]-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\sum }_c}[(x_i-{\mu }_c{)}^T\sum _c^{-1}(x_i-{\mu }_c)]$$由矩阵微分公式$\frac{\partial |X|}{\partial X}=|X|(X^{-1}{)}^T$，$\frac{\partial a^T{X}^{-1}b}{\partial X}=-X^{-T}a{b}^T{X}^{-T}$可得：$$\frac{\partial LL({\theta }_c)}{\partial {\sum }_c}=-\frac{N}{2}\frac{1}{|{\sum }_c|}|\sum _c|(\sum _c^{-1}{)}^T-\frac{1}{2}\sum _{i=1}^N[-\sum _c^{-T}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-T}]$$$$=-\frac{N}{2}(\sum _c^{-1}{)}^T-\frac{1}{2}\sum _{i=1}^N[-\sum _c^{-T}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-T}]$$$$=-\frac{N}{2}\sum _c^{-1}+\frac{1}{2}\sum _{i=1}^N[\sum _c^{-1}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-1}]$$令偏导数等于0可得：$$\frac{\partial LL({\theta }_c)}{\partial {\sum }_c}=\frac{N}{2}\sum _c^{-1}+\frac{1}{2}\sum _{i=1}^N[\sum _c^{-1}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-1}]=0$$对这个式子进行移项可以得到：$$-\frac{N}{2}\sum _c^{-1}=-\frac{1}{2}\sum _{i=1}^N[\sum _c^{-1}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-1}]$$两边同时乘于-2，可得：$$N\sum _c^{-1}=\sum _{i=1}^N[\sum _c^{-1}(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T\sum _c^{-1}]$$观察这个式子，可以发现${\sum }_c^{-1}$是不受求和符号影响的，可以将其提取出来：$$N\sum _c^{-1}=\sum _c^{-1}[\sum _{i=1}^N(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T]\sum _c^{-1}$$在式子的端同时乘上一个${\sum }_c$，可以得到：$$N=\sum _c^{-1}[\sum _{i=1}^N(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T]$$对这个公式进行简单的移项就可以得到：$$\sum _c=\frac{1}{N}[\sum _{i=1}^N(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T]$$用$\widehat{{\sum }_c}$代替${\sum }_c$，可以得到：$$、hat\sum _c=\frac{1}{N}[\sum _{i=1}^N(x_i-{\mu }_c)(x_i-{\mu }_c{)}^T]$$这就是西瓜书中的公式7.13

求解到这里有一个问题。对数似然函数直接求偏导令其等于0解出来的$\widehat{{\mu }_c}$和$\widehat{{\sum }_c}$一定能够使得对数似然函数达到最大值吗？答案肯定是一定的，具体的证明过程由于过于繁琐，这里就不进行赘述了。感兴趣的话可以查阅《多元正态分布参数的估计和数据的清洁与变换》。到这里就讲完了多元正态分布的对数似然估计。

3、朴素贝叶斯分类器

前面在讲贝叶斯判定准则的时候已经推导过：最小化分类错误率的贝叶斯最优分类器为：$$h^{\ast }(x)=argma{x}_{c\in y}P(c|x)$$为了得到朴素贝叶斯分类器的表达式，对上面公式中的$P(c|x)$用贝叶斯定理做一个恒等变形，根据贝叶斯定理可知：$$P(c|x)=\frac{P(x,c)}{P(x)}=\frac{P(c)P(x|c)}{P(x)}$$把这个公式代进贝叶斯最优分类器公式中：$$h^{\ast }(x)=argma{x}_{c\in y}\frac{P(c)P(x|c)}{P(x)}=argma{x}_{c\in y}P(c)P(x|c)$$仔细看一下上面这个式子中的$argma{x}_{c\in y}\frac{P(c)P(x|c)}{P(x)}$，这部分式子是在求使得$\frac{P(c)P(x|c)}{P(x)}$整体取到最大值的标记$c$，这部分公式中$\frac{P(c)P(x|c)}{P(x)}$的分母$P(x)$是和$c$没有任何关系的。也就是说在变动$c$的时候$P(x)$的取值是恒定的，而仅仅只有分子是随着$c$的取值的改变而改变的。所以我们在改变$c$来寻找$\frac{P(c)P(x|c)}{P(x)}$最大值时等价于改变$c$来寻找分子$P(c)P(x|c)$取到最大值，也就等价于$argma{x}_{c\in y}P(c)P(x|c)$。

朴素贝叶斯分类器就是在贝叶斯最优分类器公式的基础上加上一个属性条件独立性假设。

属性条件独立性假设的公式为：$$P(x|c)=P(x_1,x_2,...,x_d|c)=\prod _{i=1}^{d}P(x_i|c)$$接下来讲一下上面这个式子的含义，再讲为什么会有这个属性条件独立性假设。首先把似然概率$P(x|c)$中的$x$变为$x_1,x_2,...,x_d$，而这$x_1,x_2,...,x_d$根据书上的说法可以知道，既可以代表样本$x$的某个属性，也可以代表样本$x$的某个具体取值。在这里，$x$代表$x$样本的某个属性。这个式子的意思是说，在给定标记$c$的情形下，$x_1,x_2,...,x_d$这$d$个属性的联合概率。现在令这个联合概率等于${\prod }_{i=1}^{d}P(x_i|c)$。根据概率论可以知道，${\prod }_{i=1}^{d}P(x_i|c)$的意思是说$x_1,x_2,...,x_d$这$d$个属性之间是相互独立的，互不相关的，这显然是不符合实际情形的。因为我们知道任何一个物品的属性之间多多少少都应该有一点关系的，并不能说是完全独立，互不相关的。

那么为什么要做属性之间相互独立的强假设呢？其实这是为了简便计算，也就是牺牲准确率去换取计算效率。下面通过一个简单的例子说明是怎么简便计算的。

假设现在有一种南瓜是有两种属性的，属性$x_1$和属性$x_2$，$x_1$的取值为$A,B,C$，$x_2$的取值为$D,E,F$，它的类别C有三种取值，分别为$1,2,3$。现在想学习一个南瓜分类器，并且把所有的参数都学习出来，所谓的把所有的参数都学习出来就是要算出各种属性情形下的联合概率。那么一共有多少种联合概率呢？根据排列组合的知识，$x_1$一共有3种情况，$x_2$有三种取值情况，类别$C$有三种取值情况，那么一共有27种联合概率。

现在有两种计算方案，一种是假设属性之间不独立，用公式$P(x_1,x_2,...,x_d|c)$进行计算；另一种假设属性之间相互独立，用公式${\prod }_{i=1}^{d}P(x_i|c)$进行计算。

如果假设属性之间是不独立的，按照式子$P(x_1,x_2,...,x_d|c)$计算，一共有27种情形。每一种情形式子的表达式是不一样的，所以有多少种联合概率就需要计算多少次。如果假设属性之间是不独立的就需要计算27次。

如果假设属性之间相互独立，根据公式${\prod }_{i=1}^{d}P(x_i|c)$可知，只需要计算出每个属性的自然概率就能组合出整体的自然概率，也就是所谓的联合概率。

那么每个属性的自然概率一共有多少种呢？对于属性$x_1$，取值有3种情况，类别$C$有3种情况，那么就是$3\ast 3$种；同样的，对于属性$x_2$，也是有$3\ast 3$种情况。加起来一共有18种，也就是说现在只需要计算出18种自然概率就可以通过公式${\prod }_{i=1}^{d}P(x_i|c)$组合计算出27种联合概率。

显然现在的计算量18是明显比27要小的。可能看起来18并没有比27小多少，所以牺牲的准确度换来的效率不划算。但是你要知道，我们现在假设南瓜的属性只有两个。通常生产环境中的样本肯定是不止两个属性的，通常是有上百上千甚至上万个属性。如果每增加一个属性，如果假设属性间是不独立的，按照公式$P(x_1,x_2,...,x_d|c)$计算，计算量是需要在27后面再乘上一个3的。如果假设属性间是独立的，按照公式${\prod }_{i=1}^{d}P(x_i|c)$进行计算，只需要在18后面加上一个$3\ast 3$。也就是说，如果我们按照公式$P(x_1,x_2,...,x_d|c)$计算，计算量是随着属性的个数的增长而成指数型增长；但是如果按照公式${\prod }_{i=1}^{d}P(x_i|c)$进行计算，计算量的增长速度不会随着属性的增加而呈指数型增长。所以随着属性的增多，两个公式之间的计算量的差距会越来越大。这也就是为什么选择牺牲准确度而换取计算效率的原因。

现在把公式${\prod }_{i=1}^{d}P(x_i|c)$代回贝叶斯分类器的表达式里面，就可以得到朴素贝叶斯分类器的表达式：$$h^{\ast }(x)=argma{x}_{c\in y}P(x)\prod _{i=1}^{d}P(x_i|c)$$得到朴素贝叶斯分类器的表达式之后，讲一下怎么进行参数估计，也就是怎么求先验概率$P(c)$和似然概率$P(x_i|c)$。

首先讲一下怎么计算先验概率$P(c)$。

对于先验概率$P(c)$，它表示的是样本空间中各类样本所占的比例，根据大数定律，当训练集包含充足的独立同分布样本时，$P(c)$可通过各类样本出现的频率来进行估计，也即$$P(c)=\frac{|D_c|}{|D|}$$其中，$D$表示训练集，$|D|$表示$D$中的样本个数，$D_c$表示训练集D中第$c$类样本组成的集合，$|D_c|$表示集合$D_c$中的样本个数。

对于$P(x_i|c)$，需要分为两种情形来进行讨论。因为$x_I$表示的是属性，属性可以分为连续值和离散值。

若样本的第$i$个属性$x_i$取值为连续值，我们假设该属性的取值服从正态分布，也即$$P(x_i|c)\sim N({\mu }_{c,i},{\sigma }_{c,i}^2)\Rightarrow P(x_i|c)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}exp(-\frac{(x_i-{\mu }_{c,i}{)}^2}{2{\sigma }_{c,i}^2})$$其中正态分布的参数可以用极大似然估计法推得：${\mu }_{c,i}$和${\sigma }_{c,i}^2$，即为第$c$类样本在第$i$个属性上取值的均值和方差。

注意一下，这里讲的是服从一元正态分布，上面讲的是多元正态分布。但是道理都一样，只需要把前面讲的多元正态分布的概率密度函数换成一元正态分布的概率密度函数，按照同样法方法，分别对${\mu }_{c,i}$和${\sigma }_{c,i}^2$求一阶偏导，令其等于零，就可以解出${\mu }_{c,i}$和${\sigma }_{c,i}^2$。

对于$P(x_i|c)$：，若样本的第$i$个属性$x_i$取值为离散值：同样根据极大似然估计法，可以用其频率值作为其概率值的估计值，也即：$$P(x_i|c)=\frac{|D_{c,x_i}|}{|D_c|}$$其中，$D_{c,x_i}$表示$D_c$中在第$i$个属性上取值为$x_i$的样本组成的集合。

为什么在$x_i$取值为离散值的情形下，用极大似然估计法得到的概率值和频率值是相等的呢？下面举一个例子，做一个详细的说明。

例：现将一枚6面骰子抛掷10次，抛掷出的点数分别为2、3、2、5、4、6、1、3、4、2，试基于此抛掷结果估计这枚骰子抛掷出各个点数的概率。

为什么要举这样的例子呢？骰子抛掷出各种点数和离散属性可能取到的各种值是同一种场景，所以用极大似然估计法去估计骰子抛掷出各种点数的概率等价于用极大似然估计法去估计离散属性取到各种情况的概率。

如果用极大似然估计法最后估计出来骰子抛掷出各个点数的概率就等于频率值的话，同样的，用极大似然估计法去估计离散属性取到各种值的概率同样也等于它们的频率。

下面用极大似然估计法来估计这枚骰子抛掷出各个点数的概率。首先设这枚骰子抛掷出点数$i$的概率为$P_i$，根据极大似然估计法可以写出似然函数为：$$L(\theta )=P_1\ast P_2^3\ast P_3^2\ast P_4^2\ast P_5\ast P_6$$为了便于后续计算，通常将其写成对数似然函数的形式：$$LL(\theta )=lnL(\theta )=ln(P_1\ast P_2^3\ast P_3^2\ast P_4^2\ast P_5\ast P_6)$$利用对数的运算法则，可以写成：$$LL(\theta )=lnL(\theta )=ln{P}_1+3ln{P}_2+2ln{P}_3+2ln{P}_4+ln{P}_5+ln{P}_6$$下面我们的目标是要求$P_1$，$P_2$，$P_3$，$P_4$，$P_5$，$P_6$，使得对数似然函数达到最大值。在进行求解之前，有一点需要明确一下，$P_i$之间满足如下约束：$$P_1+P_2+P_3+P_4+P_5+P_6=1$$所以此时最大化对数似然函数属于带约束的最优化问题，也即：$$maxLL(\theta )=ln{P}_1+3ln{P}_2+2ln{P}_3+2ln{P}_4+ln{P}_5+ln{P}_6$$$$s.t.P_1+P_2+P_3+P_4+P_5+P_6=1$$

为了求解带约束的最优化问题，现在不加证明地给出一个结论。

定理：对于一个优化问题$$minf(x)$$ $$s.t.g_i(x)\le 0(i=1,...,n)$$ $$h_j(x)=0(j=1,...,n)$$若$f(x)$，$g_i(x)$，$h_j(x)$一阶连续可微，并且$f(x)$，$g_i(x)$是凸函数，$h_j(x)$是线性函数，那么满足如下KKT条件的点$x^{\ast }$一定是优化问题的最优解。$$\{\begin{array}{c}{▽}_{x}L(x^{\ast },{\mu }^{\ast },{\lambda }^{\ast })=▽f(x^{\ast })+{\sum }_{i=1}^n{\mu }_i^{\ast }▽g_i(x^{\ast })+{\sum }_{j=1}^m{\lambda }_j^{\ast }▽h_j(x^{\ast })=0\\ h_j(x^{\ast })=0\\ g_i(x^{\ast })\le 0\\ {\mu }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }{g}_i(x^{\ast })=0\end{array}$$
对这个定理证明感兴趣的同学可以查阅参考文献《最优化基础理论与方法》。

我们怎么把这个定理用到我们提出的优化问题上呢？这个定理的优化问题是最小化问题，所以需要把这个定理改造一下，首先把$min$改成$max$，$f(x)$前就得加一个$-$；同时把不等式约束删除，因为刚才需要求解的最优化是不含有不等式约束的，所以和$g_i(x)$有关的都可以删除。

由于$P_i$之间满足如下约束：$$P_1+P_2+P_3+P_4+P_5+P_6=1$$所以此时最大化对数似然函数属于带约束的最优化问题，也即：$$maxLL(\theta )=ln{P}_1+3ln{P}_2+2ln{P}_3+2ln{P}_4+ln{P}_5+ln{P}_6$$$$s.t.P_1+P_2+P_3+P_4+P_5+P_6=1$$观察第一个公式中的每一个$ln{P}_i$，都是对数函数，对数函数都是凹函数，也就是开口向下。由六个一元凹函数组成的函数一定还是一个凹函数，所以对数似然函数$LL(\theta )$也是一个凹函数。既然目标函数是一个凹函数，就可以用改造后的定理，下面只需要写成这个优化问题的拉格朗日函数，然后对拉格朗日函数求梯度，找梯度等于零的点就是最优解。

由拉格朗日乘子法可得拉格朗日函数为$$\pounds (\theta ,\lambda )=ln{P}_1+3ln{P}_2+2ln{P}_3+2ln{P}_4+ln{P}_5+ln{P}_6+\lambda (P_1+P_2+P_3+P_4+P_5+P_6-1)$$对于一个多元函数的梯度其实就是各个偏导数组成的一个向量。梯度等于零，那也就意味着我们多元函数的各个偏导数等于零。所以接下来就对拉格朗日函数关于$P_i$求偏导，然后令其等于0可得$$\frac{\partial \pounds (\theta ,\lambda )}{\partial P_1}=\frac{\partial }{\partial P_1}[ln{P}_1+3ln{P}_2+2ln{P}_3+2ln{P}_4+ln{P}_5+ln{P}_6+\lambda (P_1+P_2+P_3+P_4+P_5+P_6-1)]=0$$$$=\frac{\partial }{\partial P_1}(ln{P}_1+\lambda P_1)=0$$$$=\frac{1}{P_1}+\lambda =0\Rightarrow \lambda =-\frac{1}{P_1}$$同理可以求得：$$\lambda =-\frac{1}{P_1}=-\frac{3}{P_2}=-\frac{2}{P_3}=-\frac{2}{P_4}=-\frac{1}{P_5}=-\frac{1}{P_6}$$又因为$$P_1+P_2+P_3+P_4+P_5+P_6=1$$所以最终解得$$P_1=\frac{1}{10},P_2=\frac{3}{10},P_3=\frac{2}{10},P_4=\frac{2}{10},P_5=\frac{1}{10},P6=\frac{1}{10}$$此时抛掷出各个点数的概率值与其频率值相等。