（《机器学习》完整版系列）第7章 贝叶斯分类器——7.3 极大似然法（似然是什么：类条件概率）

基于最小化分类错误率的贝叶斯最优分类器的求解中，两次使用了$\max$，一次是极大似然法【西瓜书式(7.11)】，另一次是贝叶斯决策【西瓜书式(7.6)】，其意义各不相同。

极大似然法

由7.1 贝叶斯决策论知，最小化分类错误率的贝叶斯最优分类器为
$$\begin{array}{rl}{h}^{\ast }(\mathbf{x})& =\underset{c\in \mathcal{Y}}{\mathrm{argmin}}(1-P(c|\mathbf{x}))\\ & =\underset{c\in \mathcal{Y}}{\mathrm{argmax}}P(c|\mathbf{x})\\ & =\underset{c_i,(i=1,2,\cdots ,N)}{\mathrm{argmax}}P(c_i|\mathbf{x})\end{array}\text{\hspace{1em}(7.13)}$$

通过如下式(7.17)
$$\begin{array}{r}P(c|\mathbf{x})=\frac{P(c)P(\mathbf{x}|c)}{P(\mathbf{x})}\end{array}\text{\hspace{1em}(7.17)}$$
即
$$\begin{array}{r}\text{后验}=\frac{\text{先验}\cdot \text{似然}}{\text{证据}}\end{array}\text{\hspace{1em}(7.17a)}$$
来求式(7.13)时，通常“先验”和“证据”已定，问题归结于求极大“似然”（$P(\mathbf{x}|c)$）。

先将“似然”参数化，即指定它具有某种形式$f$（由领域知识得到）并含有某待定参数${\theta }_c$，即
$$\begin{array}{r}P(\mathbf{x}|c)=f(\mathbf{x},{\theta }_c)\end{array}\text{\hspace{1em}(7.24)}$$
式(7.24)中，标记变量$c$与参数变量${\theta }_c$是对应的，故该条件概率可以换一种写法：
$$\begin{array}{r}P(\mathbf{x}|c)=P(\mathbf{x}|{\theta }_c)\end{array}\text{\hspace{1em}(7.25)}$$

设数据集$D$中的$c$类样本构成子集 D c = { x 1 c , x 2 c , ⋯   , x k c } D_c=\{\boldsymbol{x}_1^c,\boldsymbol{x}_2^c,\cdots,\boldsymbol{x}_k^c\} Dc​={x1c​,x2c​,⋯,xkc​}，则
$$\begin{array}{rl}P(D_c|{\theta }_c)& =P(({\mathbf{x}}_1^c,{\mathbf{x}}_2^c,\cdots ,{\mathbf{x}}_k^c)|{\theta }_c)\\ & =P({\mathbf{x}}_1^c|{\theta }_c)\cdot P({\mathbf{x}}_2^c|{\theta }_c)\cdot \cdots P({\mathbf{x}}_k^c|{\theta }_c)\\ & =\prod _{\mathbf{x}\in D_c}P(\mathbf{x}|{\theta }_c)\end{array}\text{\hspace{1em}(7.26)}$$
取对数将$\prod$变为$\sum$，即得到【西瓜书式(7.10)】，其中，“$\mathrm{LL}({\theta }_c)$”的“双$L$”是指log -likelihood（对数似然）。

注意：极大（对数）似然的估计是与类$c$相关的，即参数是带下标的，这就是说每个类都有其参数，极大似然对这些参数逐一估计，${\theta }_c$的估计为${\hat{\theta }}_c$。

综上，得到基于最小化分类错误率的贝叶斯最优分类器的求解步骤：

（1）对每个类别$c$子集$D_c$，利用极大似然法（MLE）：式(7.26)、【西瓜书式(7.10)】、【西瓜书式(7.11)】估计出参数${\hat{\theta }}_c$；

（2）代入式(7.24)，求得似然概率$P(\mathbf{x}|c)$；

（3）代入式(7.17)，求得后验概率$P(c|\mathbf{x})$；

（4）各类别的$P(c_i|\mathbf{x}),i=1,2,\cdots ,N$代入【西瓜书式(7.6)】（即用式(7.13)进行后验概率比较，取最大的）即得到$h^{\ast }(\mathbf{x})$。

从这个步骤中可以看出，它使用了两次$\max$，一次是极大似然法【西瓜书式(7.11)】，另一次是贝叶斯决策【西瓜书式(7.6)】，其意义各不相同。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：7.2 再谈线性判别分析（高斯分布下的线性判别分析LDA实现了贝叶斯分类器）
下一篇：7.4 朴素贝叶斯分类器与半朴素贝叶斯分类器（样本独立？属性独立？类条件属性独立？）