【西瓜书笔记】6.极大似然估计与朴素贝叶斯

6.1 贝叶斯判定准则

贝叶斯判定准则:
为最小化总体风险，只需在每个样本上选择那个能使条件风险$R(c\mid x)$最小的类别标记，即
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c\mid \mathbf{x})$$
此时，$h^{\ast }$称为贝叶斯最优分类器

【这里的R和$h^{\ast }$针对的都是单个输入样本。也就是说，对于单个样本，$h^{\ast }(\mathbf{x})$输出一个类别标记c，这个c使得R取到最小值】

已知条件风险$R(c\mid x)$的计算公式是
$$R\left(c_i\mid x\right)=\sum _{j=1}^N{\lambda }_{ij}P\left(c_j\mid x\right)$$
跟西瓜书中一样，这里我们假设有N种可能的类别标记， Y = { c 1 , c 2 , … , c N } \mathcal{Y}=\left\{c_{1}, c_{2}, \ldots, c_{N}\right\} Y={c1​,c2​,…,cN​}。 ${\lambda }_{ij}$是将一个真是标记为$c_j$的样本误分类为$c_i$所产生的损失。若目标是最小化分类错误率，则误判损失${\lambda }_{ij}$对应为0/1损失，也即
$${\lambda }_{i,j}=\{\begin{array}{l}0.\text{ if }i=j\\ 1.\text{ otherwise }\end{array}$$
那么条件风险$R(c\mid x)$的计算公式可以进一步展开为
$$\begin{array}{rl}R\left(c_i\mid \mathbf{x}\right)& =1\times P\left(c_1\mid \mathbf{x}\right)+\dots +1\times P\left(c_{i-1}\mid \mathbf{x}\right)+0\times P\left(c_i\mid \mathbf{x}\right)+1\times P\left(c_{i-1}\mid \mathbf{x}\right)+\dots +1\times P\left(c_N\mid \mathbf{x}\right)\\ & =P\left(c_1\mid \mathbf{x}\right)+\dots +P\left(c_{i-1}\mid \mathbf{x}\right)+P\left(c_{i-1}\mid x\right)+\dots +P\left(c_N\mid \mathbf{x}\right)\end{array}$$
这里除了${\lambda }_{ii}=0$，其余的$\lambda$都等于1。又因为${\sum }_{j=1}^{N}P\left(c_j\mid x\right)=1$, 所以
$$R\left(c_i\mid x\right)=1-P\left(c_i\mid x\right)$$
也就是西瓜书式7.5。

于是，最小化错误率的贝叶斯最优分类器为
$$h^{\ast }(x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}R(c\mid x)=\underset{c\in \mathcal{Y}}{\mathrm{argmin}}(1-P(c\mid x))=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c\mid x)$$

6.2 多元正态分布参数的极大似然估计

已知对数似然函数为
$$LL\left({\mathbf{\theta }}_C\right)=\sum _{\mathbf{x}\in D_c}\log P\left(\mathbf{x}\mid {\mathbf{\theta }}_C\right)$$
此为西瓜书式7.10

为了便于后续计算，我们令log的底数为e，则对数似然函数可化为
$$LL\left({\mathbf{\theta }}_C\right)=\sum _{\mathbf{x}\in D_c}\ln P\left(\mathbf{x}\mid {\mathbf{\theta }}_C\right)$$
由于$P\left(x\mid {\mathbf{\theta }}_{\mathbf{c}}\right)=P(x\mid c)\sim \mathcal{N}\left({\mu }_c,{\sigma }_c^2\right)$,那么
$$P\left(\mathbf{x}\mid {\mathbf{\theta }}_c\right)=\frac{1}{\sqrt{(2\pi {)}^d\left|{\mathbf{\Sigma }}_c\right|}}\exp \left(-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_c\right)\right)$$
其中，d表示$\mathbf{x}$的维数，${\Sigma }_C={\sigma }_C^2$为对称正定协方差矩阵， $\left|{\Sigma }_c\right|$表示${\Sigma }_c$的行列式，将上 式代入对数似然函数可得
$$LL\left({\mathbf{\theta }}_c\right)=\sum _{\mathbf{x}\in D_c}\ln \left[\frac{1}{\sqrt{(2\pi {)}^d\left|{\mathbf{\Sigma }}_c\right|}}\exp \left(-\frac{1}{2}{\left(\mathbf{x}-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left(\mathbf{x}-{\mathbf{\mu }}_c\right)\right)\right]$$
令$\left|D_c\right|=N$，则对数似然函数可化为：
$$\begin{array}{rl}LL\left({\mathbf{\theta }}_c\right)& =\sum _{i=1}^N\ln \left[\frac{1}{\sqrt{(2\pi {)}^d\left|{\mathbf{\Sigma }}_{\mathbf{c}}\right|}}\exp \left(-\frac{1}{2}{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{{\mathbf{\Sigma }}_{\mathbf{c}}}^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right)\right]\\ & =\sum _{i=1}^N\ln \left[\frac{1}{\sqrt{(2\pi {)}^d}}\cdot \frac{1}{\sqrt{\left|{\mathbf{\Sigma }}_{\mathbf{c}}\right|}}\cdot \exp \left(-\frac{1}{2}{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{{\mathbf{\Sigma }}_{\mathbf{c}}}^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right)\right]\\ & =\sum _{i=1}^N\left\{\ln \frac{1}{\sqrt{(2\pi {)}^d}}+\ln \frac{1}{\sqrt{\left|{\mathbf{\Sigma }}_{\mathbf{c}}\right|}}+\ln \left[\exp \left(-\frac{1}{2}{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{{\mathbf{\Sigma }}_{\mathbf{c}}}^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right)\right]\right\}\\ & =\sum _{i=1}^N\left\{-\frac{d}{2}\ln (2\pi )-\frac{1}{2}\ln \left|{\mathbf{\Sigma }}_{\mathbf{c}}\right|-\frac{1}{2}{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right\}\\ & =-\frac{Nd}{2}\ln (2\pi )-\frac{N}{2}\ln \left|{\mathbf{\Sigma }}_c\right|-\frac{1}{2}\sum _{i=1}^N{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\end{array}$$
由于参数${\mathbf{\theta }}_{\mathbf{c}}$的极大似然估计${\hat{\mathbf{\theta }}}_C$为：
$${\hat{\mathbf{\theta }}}_C=\underset{{\mathbf{\theta }}_c}{\mathrm{argmax}}LL\left({\mathbf{\theta }}_C\right)$$
所以接来下只需要求出使得对数似然函数$LL\left({\mathbf{\theta }}_C\right)$取到最大值的${\hat{\mu }}_c$和${\hat{\Sigma }}_c$， 也就求出了${\hat{\theta }}_c$。

对$LL\left({\mathbf{\theta }}_C\right)$关于${\mu }_c$，求偏导
$$\begin{array}{rl}\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\mu }}_c}& =\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[-\frac{Nd}{2}\ln (2\pi )-\frac{N}{2}\ln \left|{\mathbf{\Sigma }}_c\right|-\frac{1}{2}\sum _{i=1}^N{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[-\frac{1}{2}\sum _{i=1}^N{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[\left({\mathbf{x}}_i^T-{\mathbf{\mu }}_c^T\right){\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[\left({\mathbf{x}}_i^T-{\mathbf{\mu }}_c^T\right)\left({\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right)\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c-{\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i+{\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right]\end{array}$$
由于${\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c$的计算结果为标量，所以
$${\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c={\left({\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right)}^T={\mathbf{\mu }}_c^T{\left({\mathbf{\Sigma }}_c^{-1}\right)}^T{\mathbf{x}}_i={\mathbf{\mu }}_c^T{\left({\mathbf{\Sigma }}_c^T\right)}^{-1}{\mathbf{x}}_i={\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i$$
于是上式可以进一步化为
$$\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\mu }}_c}=-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\mu }}_c}\left[{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-2{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c+{\mathbf{\mu }}_c^T{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right]$$
由矩阵微分公式$\frac{\partial {\mathbf{a}}^T\mathbf{x}}{\partial \mathbf{x}}=\mathbf{a}$, $\frac{\partial {\mathbf{x}}^T\mathbf{B}\mathbf{x}}{\partial \mathbf{x}}=\left(\mathbf{B}+{\mathbf{B}}^T\right)\mathbf{x}$可得
$$\begin{array}{rl}\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\mu }}_c}& =-\frac{1}{2}\sum _{i=1}^N\left[0-{\left(2{\mathbf{x}}_i^T{\mathbf{\Sigma }}_c^{-1}\right)}^T+\left({\mathbf{\Sigma }}_c^{-1}+{\left({\mathbf{\Sigma }}_c^{-1}\right)}^T\right){\mathbf{\mu }}_c\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\left[-\left(2{\left({\mathbf{\Sigma }}_c^{-1}\right)}^T{\mathbf{x}}_i\right)+\left({\mathbf{\Sigma }}_c^{-1}+{\left({\mathbf{\Sigma }}_c^{-1}\right)}^T\right){\mathbf{\mu }}_c\right]\\ & =-\frac{1}{2}\sum _{i=1}^N\left[-\left(2{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i\right)+2{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\right]\\ & =\sum _{i=1}^N{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-N{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c\end{array}$$
令偏导数等于0可得
$$\begin{array}{c}\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\mu }}_c}=\sum _{i=1}^N{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i-N{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c=0\\ N{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c=\sum _{i=1}^N{\mathbf{\Sigma }}_c^{-1}{\mathbf{x}}_i\\ N{\mathbf{\Sigma }}_c^{-1}{\mathbf{\mu }}_c={\mathbf{\Sigma }}_c^{-1}\sum _{i=1}^N{\mathbf{x}}_i\\ N{\mathbf{\mu }}_c=\sum _{i=1}^N{\mathbf{x}}_i\end{array}$$

$${\mathbf{\mu }}_{\mathbf{c}}=\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i\Rightarrow {\hat{\mathbf{\mu }}}_c=\frac{1}{N}\sum _{i=1}^N{\mathbf{x}}_i$$

此即为西瓜书式7.12

对$LL\left({\mathbf{\theta }}_C\right)$关于${\Sigma }_C$求偏导
$$\begin{array}{rl}\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\Sigma }}_c}& =\frac{\partial }{\partial {\mathbf{\Sigma }}_c}\left[-\frac{Nd}{2}\ln (2\pi )-\frac{N}{2}\ln \left|{\mathbf{\Sigma }}_c\right|-\frac{1}{2}\sum _{i=1}^N{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =\frac{\partial }{\partial {\mathbf{\Sigma }}_c}\left[-\frac{N}{2}\ln \left|{\mathbf{\Sigma }}_c\right|-\frac{1}{2}\sum _{i=1}^N{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\\ & =-\frac{N}{2}\cdot \frac{\partial }{\partial {\mathbf{\Sigma }}_c}\left[\ln \left|{\mathbf{\Sigma }}_c\right|\right]-\frac{1}{2}\sum _{i=1}^N\frac{\partial }{\partial {\mathbf{\Sigma }}_c}\left[{\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^{\mathrm{T}}{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)\right]\end{array}$$
由矩阵微分公式$\frac{\partial |\mathbf{X}|}{\partial \mathbf{X}}=|\mathbf{X}|\cdot {\left({\mathbf{X}}^{-1}\right)}^T$， $\frac{\partial {\mathbf{a}}^T{\mathbf{X}}^{-1}\mathbf{b}}{\partial \mathbf{X}}=-{\mathbf{X}}^{-T}\mathbf{a}{\mathbf{b}}^T{\mathbf{X}}^{-T}$可得
$$\begin{array}{rl}\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\Sigma }}_c}& =-\frac{N}{2}\cdot \frac{1}{\left|{\mathbf{\Sigma }}_c\right|}\cdot \left|{\mathbf{\Sigma }}_c\right|\cdot {\left({\mathbf{\Sigma }}_c^{-1}\right)}^T-\frac{1}{2}\sum _{i=1}^N\left[-{\mathbf{\Sigma }}_c^{-T}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-T}\right]\\ & =-\frac{N}{2}\cdot {\left({\mathbf{\Sigma }}_c^{-1}\right)}^T-\frac{1}{2}\sum _{i=1}^N\left[-{\mathbf{\Sigma }}_c^{-T}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-T}\right]\\ & =-\frac{N}{2}{\mathbf{\Sigma }}_c^{-1}+\frac{1}{2}\sum _{i=1}^N\left[{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-1}\right]\end{array}$$
令偏导数等于0可得
$$\frac{\partial LL\left({\mathbf{\theta }}_c\right)}{\partial {\mathbf{\Sigma }}_c}=-\frac{N}{2}{\mathbf{\Sigma }}_c^{-1}+\frac{1}{2}\sum _{i=1}^N\left[{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-1}\right]=0$$

$$\begin{array}{c}-\frac{N}{2}{\Sigma }_c^{-1}=-\frac{1}{2}\sum _{i=1}^N\left[{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-1}\right]\\ N{\Sigma }_c^{-1}=\sum _{i=1}^N\left[{\mathbf{\Sigma }}_c^{-1}\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T{\mathbf{\Sigma }}_c^{-1}\right]\\ N{\mathbf{\Sigma }}_c^{-1}={\mathbf{\Sigma }}_c^{-1}\left[\sum _{i=1}^N\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T\right]{\mathbf{\Sigma }}_c^{-1}\\ N={\mathbf{\Sigma }}_c^{-1}\left[\sum _{i=1}^N\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T\right]\end{array}$$

$${\Sigma }_c=\frac{1}{N}\sum _{i=1}^N\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T\Rightarrow {\hat{\mathbf{\Sigma }}}_c=\frac{1}{N}\sum _{i=1}^N\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right){\left({\mathbf{x}}_i-{\mathbf{\mu }}_c\right)}^T$$

此即为西瓜书式7.13

6.3 朴素贝叶斯分类器

已知最小化分类错误率的贝叶斯最优分类器为
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c\mid \mathbf{x})$$
又由贝叶斯定理可知
$$P(c\mid \mathbf{x})=\frac{P(\mathbf{x},c)}{P(\mathbf{x})}=\frac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}$$
所以
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}\frac{P(c)P(\mathbf{x}\mid c)}{P(\mathbf{x})}=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)P(\mathbf{x}\mid c)$$
已知属性条件独立性假设为
$$P(\mathbf{x}\mid c)=P\left(x_1,x_2,\dots ,x_d\mid c\right)=\prod _{i=1}^{d}P\left(x_i\mid c\right)$$
【其中，d表示$\mathbf{x}$的维数】

所以
$$h^{\ast }(\mathbf{x})=\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c)\prod _{i=1}^{d}P\left(x_i\mid c\right)$$
此即为朴素贝叶斯分类器的分类器

对于$P(c)$，它表示的是样本空间中各类样本所占的比例，根据大数定律，当训练集包含充足的独立同分布样本时， $P(c)$可通过各类样本出现的频率来进行估计，也即
$$P(c)=\frac{\left|D_c\right|}{|D|}$$
其中，D表示训练集， $|D|$表示D中的样本个数，$D_c$表示训练集D中第c类样本组成的集合，$\left|D_c\right|$表示集合$D_c$中的样本个数。

对于$P\left(x_i\mid c\right)$，若样本的第i个属性$x_i$取值为连续值，我们假设该属性的取值服从正态分布，也即
$$P\left(x_i\mid c\right)\sim \mathcal{N}\left({\mu }_{c,i},{\sigma }_{c,i}^2\right)\Rightarrow P\left(x_i\mid c\right)=\frac{1}{\sqrt{2\pi }{\sigma }_{c,i}}\exp \left(-\frac{{\left(x_i-{\mu }_{c,i}\right)}^2}{2{\sigma }_{c,i}^2}\right)$$
其中正态分布的参数可以用极大似然估计法推得：${\mu }_{c,i}$和${\sigma }_{c,i}^2$属性上取值的均值和方差

对于$P\left(x_i\mid c\right)$，若样本的第i个属性$x_i$取值为离散值，同样根据极大似然估计法，我们用其频率值作为其概率值的估计值，也即
$$P\left(x_i\mid c\right)=\frac{\left|D_{c,x_i}\right|}{\left|D_c\right|}$$
其中， $D_{c,x_i}$表示$D_c$中在第i个属性上取值为$x_i$的样本组成的集合。

例:现将一枚6面骰子抛掷10次，抛掷出的点数分别为2、3、2、5、4、6、1、3、4、2， 试基于此抛掷结果估计这枚骰子抛掷出各个点数的概率。

解:设这枚骰子抛掷出点数i的概率为$P_i$，根据极大似然估计法可以写出似然函数为
$$L(\theta )=P_1\times P_2^3\times P_3^2\times P_4^2\times P_5\times P_6$$
其对数似然函数即为
$$\begin{array}{rl}LL(\theta )& =\ln L(\theta )=\ln \left(P_1\times P_2^3\times P_3^2\times P_4^2\times P_5\times P_6\right)\\ & =\ln P_1+3\ln P_2+2\ln P_3+2\ln P_4+\ln P_5+\ln P_6\end{array}$$
由于$P_i$之间满足如下约束
$$P_1+P_2+P_3+P_4+P_5+P_6=1$$
所以此时最大化对数似然函数属于带约束的最优化问题，也即
$$\begin{array}{ll}\max & LL(\theta )=\ln P_1+3\ln P_2+2\ln P_3+2\ln P_4+\ln P_5+\ln P_6\\ \text{ s.t. }& P_1+P_2+P_3+P_4+P_5+P_6=1\end{array}$$
定理：对于一个优化问题
$$\begin{array}{ll}\min & f(x)\\ \text{ s.t. }& g_i(x)\le 0(i=1,\dots ,m)\\ & h_j(x)=0(j=1,\dots ,n)\end{array}$$
若$f(x),g_i(x),h_j(x)$一阶连续可微，并且$f(x),g_i(x)$是凸函数，$h_j(x)$是线性函数，那么满足如下KKT条件的点一定是优化问题的最优解。
$$\{\begin{array}{l}{\nabla }_{x}L\left({\mathbf{x}}^{\ast },{\mathbf{\mu }}^{\ast },{\mathbf{\lambda }}^{\ast }\right)=\nabla f\left({\mathbf{x}}^{\ast }\right)+{\sum }_{i=1}^m{\mu }_i^{\ast }\nabla g_i\left({\mathbf{x}}^{\ast }\right)+{\sum }_{j=1}^n{\lambda }_j^{\ast }\nabla h_j\left({\mathbf{x}}^{\ast }\right)=0\\ h_j\left({\mathbf{x}}^{\ast }\right)=0\\ g_i\left({\mathbf{x}}^{\ast }\right)\le 0\\ {\mu }_i^{\ast }\ge 0\\ {\mu }_i^{\ast }{g}_i\left({\mathbf{x}}^{\ast }\right)=0\end{array}$$
【参考文献:王燕军, 梁治安. 最优化基础理论与方法[M]. 复旦大学出版社, 2011.】

由拉格朗日乘子法可得拉格拉格朗日函数为
$$\mathcal{L}(\theta ,\lambda )=\ln P_1+3\ln P_2+2\ln P_3+2\ln P_4+\ln P_5+\ln P_6+\lambda \left(P_1+P_2+P_3+P_4+P_5+P_6-1\right)$$
对拉格朗日函数$\mathcal{L}(\theta )$分别关于$P_i$求偏导，然后令其等于0可得
$$\begin{array}{rl}\frac{\partial \mathcal{L}(\theta ,\lambda )}{\partial P_1}& =\frac{\partial }{\partial P_1}\left[\ln P_1+3\ln P_2+2\ln P_3+2\ln P_4+\ln P_5+\ln P_6+\lambda \left(P_1+P_2+P_3+P_4+P_5+P_6-1\right)\right]=0\\ & =\frac{\partial }{\partial P_1}\left(\ln P_1+\lambda P_1\right)=0\\ & =\frac{1}{P_1}+\lambda =0\\ & \Rightarrow \lambda =-\frac{1}{P_1}\end{array}$$
同理可求得:
$$\lambda =-\frac{1}{P_1}=-\frac{3}{P_2}=-\frac{2}{P_3}=-\frac{2}{P_4}=-\frac{1}{P_5}=-\frac{1}{P_6}$$
又因为
$$P_1+P_2+P_3+P_4+P_5+P_6=1$$
所以
$$P_1=\frac{1}{10},P_2=\frac{3}{10},P_3=\frac{2}{10},P_4=\frac{2}{10},P_5=\frac{1}{10},P_6=\frac{1}{10}$$
此时抛掷出各个点数的概率值与其频率值相等。