2.5_正态分布概率模型下的最小错误率贝叶斯决策

设某一类的样本的类条件概率服从多元正态分布，即
$$P(\mathbf{x}|{\omega }_i)\sim \mathcal{N}({\mu }_{\mathbf{i}},{\mathbf{\Sigma }}_{\mathbf{i}})(i=1,2,\dots ,c)\text{\hspace{1em}(1)}$$

定义该分布下的判别函数，判别函数的定义见2.1节,
$$g_i(\mathbf{x})=\ln P(\mathbf{x}|{\omega }_i)P({\omega }_i)$$
$$=>=\ln P(\mathbf{x}|{\omega }_i)+\ln P({\omega }_i)\text{\hspace{1em}(2)}$$

注：这里专门采用了对数式判别函数，利于计算。

由于该类条件概率服从多元正态分布，所以可得：
$$P(\mathbf{x}|{\omega }_i)=\frac{1}{(2\pi {)}^{d/2}|{\mathbf{\Sigma }}_{\mathbf{i}}{|}^{1/2}}{e}^{\frac{-1}{2}}(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mu }_{\mathbf{i}})$$
判别函数：
$$=>g_i(\mathbf{x})=-\frac{1}{2}(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mu }_{\mathbf{i}})-\frac{d}{2}\ln 2\pi -\frac{1}{2}\ln |{\mathbf{\Sigma }}_i|+\ln P({\omega }_i)\text{\hspace{1em}(3)}$$

定义第i类和第j类之间的决策面方程：
$$g_i(\mathbf{x})=g_j(\mathbf{x})\text{\hspace{1em}(4)}$$

将式（3）代入式（4）的方程中，可得：
$$-\frac{1}{2}[(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T{\mathbf{\Sigma }}_i^{-1}(\mathbf{x}-{\mu }_{\mathbf{i}})-(\mathbf{x}-{\mu }_j{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mu }_j)]-\frac{1}{2}\ln \frac{|{\mathbf{\Sigma }}_i|}{|{\mathbf{\Sigma }}_j|}+\ln \frac{P({\omega }_i)}{P({\omega }_j)}=0\text{\hspace{1em}(5)}$$

现在我们来考虑各类协方差矩阵以及类先验概率在不同情况下，判别函数的变化。

一.第一种情况：${\mathbf{\Sigma }}_i={\sigma }^{2}I,i=1,2,\dots ,c$

$I$是dxd维的单位矩阵，这种情况中每类的协方差矩阵都相等，而且类内各特征间相互独立（每个类别里样本的各特征间的协方差为0），每个特征具有相等的方差${\sigma }^2$。下面进一步针对类别先验概率$P(\omega )$再分两种情况:

（1） 先验概率$P({\omega }_i)=P({\omega }_j)$不相等
可知
$$|{\mathbf{\Sigma }}_i|={\sigma }^{2d}\text{\hspace{1em}(6)}$$
$${\mathbf{\Sigma }}_i^{-1}=\frac{1}{{\sigma }^2}I\text{\hspace{1em}(7)}$$

将上述两式代入式（3）的判别函数中，得：
$$g_i(\mathbf{x})=-\frac{(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T(\mathbf{x}-{\mu }_{\mathbf{i}})}{2{\sigma }^2}-\frac{d}{2}\ln 2\pi -d\ln \sigma +\ln P({\omega }_i)\text{\hspace{1em}(8)}$$

其中$-\frac{d}{2}\ln 2\pi$和$-d\ln \sigma$和类别无关，可忽略
$$=>g_i(\mathbf{x})=-\frac{(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T(\mathbf{x}-{\mu }_{\mathbf{i}})}{2{\sigma }^2}+\ln P({\omega }_i)\text{\hspace{1em}(9)}$$
其中
$$(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T(\mathbf{x}-{\mu }_{\mathbf{i}})=||\mathbf{x}-{\mu }_i|{|}^2=\sum _{j=1}^d(x_j-{\mu }_{ij}{)}^2,i=1,\dots ,c\text{\hspace{1em}(10)}$$
这是$\mathbf{x}$到类${\omega }_i$的样本均值向量${\mu }_i$的欧氏距离的平方。

（2） $P({\omega }_i)=P({\omega }_j)$
现在每个类别的先验概率都相等，那么对判别函数式（9）就没什么影响了，可以忽略这一项，则
$$=>g_i(\mathbf{x})=-\frac{(\mathbf{x}-{\mu }_{\mathbf{i}}{)}^T(\mathbf{x}-{\mu }_{\mathbf{i}})}{2{\sigma }^2}=-\frac{1}{2{\sigma }^2}||\mathbf{x}-{\mu }_i|{|}^2\text{\hspace{1em}(11)}$$
根据判别准则，我们要选择使判别函数最大的类别，即$\max g_i(\mathbf{x})=>\mathbf{x}\in {\omega }_i$，根据式（11）可得最大化$g_i(\mathbf{x})$就是最小化样本到各类均值向量的距离$\min ||\mathbf{x}-{\mu }_i|{|}^2$，这种分类器称为最小距离分类器。如图

除此之外，对于式（9），还可以继续化简，得：
$$=>g_i(\mathbf{x})=-\frac{({\mathbf{x}}^T-{{\mu }_{\mathbf{i}}}^T)(\mathbf{x}-{\mu }_{\mathbf{i}})}{2{\sigma }^2}+\ln P({\omega }_i)\text{\hspace{1em}(12)}$$
$$=>=-\frac{1}{2{\sigma }^2}({\mathbf{x}}^T\mathbf{x}-{\mathbf{x}}^T{\mu }_i-{\mu }_i^T\mathbf{x}+{\mu }_i^T{\mu }_i)+\ln P({\omega }_i)\text{\hspace{1em}(13)}$$

其中${\mathbf{x}}^T\mathbf{x}$与类别i无关，且${\mathbf{x}}^T{\mu }_i={\mu }_i^T\mathbf{x}$, 则
$$=>=-\frac{1}{2{\sigma }^2}({\mu }_i^T{\mu }_i-2{\mu }_i^T\mathbf{x})+\ln P({\omega }_i)\text{\hspace{1em}(14)}$$
$$=>=\frac{1}{{\sigma }^2}{\mu }_i^T\mathbf{x}-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+\ln P({\omega }_i)\text{\hspace{1em}(15)}$$
$$=>={\mathbf{w}}_i^T\mathbf{x}+{\omega }_{i0}\text{\hspace{1em}(16)}$$

可见我们得到了线性分类器，其中：${\mathbf{w}}_i=\frac{1}{{\sigma }^2}{\mu }_i{\omega }_{i0}=-\frac{1}{2{\sigma }^2}{\mu }_i^T{\mu }_i+\ln P({\omega }_i)$。
决策规则就是要求对某个待分类的样本$\mathbf{x}$, 分别计算判别函数$g_i(\mathbf{x}),i=1,\dots ,c$，
$$若g_k(\mathbf{x})=\underset{i}{\max }{g}_i(\mathbf{x}),则\mathbf{x}\in {\omega }_i\text{\hspace{1em}(17)}$$

线性分类器的决策面是由线性方程$g_i(\mathbf{x})=g_j(\mathbf{x})$所确定的一个超平面。将各自的判别函数代入该方程，我们可以得到：
$$({\mu }_i-{\mu }_j{)}^T[\mathbf{x}-[\frac{{\mu }_i+{\mu }_j}{2}-\frac{{\sigma }^2}{({\mu }_i-{\mu }_j{)}^T}\ln \frac{P({\omega }_i)}{P({\omega }_j)}]]=0\text{\hspace{1em}(18)}$$
上式可化为，
$${\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_0)=0\text{\hspace{1em}(19)}$$
其中
$$\mathbf{w}={\mu }_i-{\mu }_j\text{\hspace{1em}(20)}$$
$${\mathbf{x}}_0=\frac{{\sigma }^2}{||{\mu }_i-{\mu }_j|{|}^2}\ln \frac{P({\omega }_i)}{P({\omega }_j)}({\mu }_i-{\mu }_j)\text{\hspace{1em}(21)}$$

满足上式$\mathbf{x}$的轨迹构成了${\omega }_i$与${\omega }_j$类间的决策面，它是一个超平面，当$P({\omega }_i)=P({\omega }_j)$时，${\mathbf{x}}_0=0$，此时超平面通过${\mu }_i$与${\mu }_j$连线中点，并与连线正交。如图：

可知这个决策面的方向是由$\mathbf{w}$决定的，位置由${\mathbf{x}}_0$决定，所以决策面与先验概率相等时的决策面平行，当先验不相等时，向先验概率小的方向偏移，即先验概率大的一类要占据更大的决策空间。

二. 第二种情况：${\mathbf{\Sigma }}_i=\mathbf{\Sigma }$

此时，各类别的协方差矩阵都相等，但是类内各样本的特征并不独立。判别函数为：
$$g_i(\mathbf{x})=-\frac{1}{2}(\mathbf{x}-{\mu }_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mu }_i)+\ln P({\omega }_i)\text{\hspace{1em}(22)}$$

若c类先验概率都相等，则判别函数可进一步化简为：
$$g_i(\mathbf{x})={\gamma }^2=(\mathbf{x}-{\mu }_i{)}^T{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mu }_i)\text{\hspace{1em}(23)}$$

这时决策规则为：为了对样本$\mathbf{x}$进行分类，只要计算出$\mathbf{x}$到每类的均值向量${\mu }_i$的Mahalanobis马氏距离的平方，最后把$\mathbf{x}$归于${\gamma }^2$最小的类别。将式（22）进一步展开：
$$g_i(\mathbf{x})=-\frac{1}{2}({\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}\mathbf{x}-{\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}{\mu }_i-{\mu }_i^T{\mathbf{\Sigma }}^{-1}\mathbf{x}+{\mu }_i^T{\mathbf{\Sigma }}^{-1}{\mu }_i)+\ln P({\omega }_i)\text{\hspace{1em}(24)}$$
$$=>=-\frac{1}{2}({\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}\mathbf{x}-2{\mu }_i^T{\mathbf{\Sigma }}^{-1T}\mathbf{x}+{\mu }_i^T{\mathbf{\Sigma }}^{-1}{\mu }_i)+\ln P({\omega }_i)\text{\hspace{1em}(25)}$$
$$=>=-\frac{1}{2}{\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}\mathbf{x}+{\mu }_i^T{\mathbf{\Sigma }}^{-1T}\mathbf{x}-\frac{1}{2}{\mu }_i^T{\mathbf{\Sigma }}^{-1}{\mu }_i+\ln P({\omega }_i)\text{\hspace{1em}(26)}$$
忽略其中与类别i无关的${\mathbf{x}}^T{\mathbf{\Sigma }}^{-1}\mathbf{x}$项
$$=>={\mu }_i^T{\mathbf{\Sigma }}^{-1T}\mathbf{x}-\frac{1}{2}{\mu }_i^T{\mathbf{\Sigma }}^{-1}{\mu }_i+\ln P({\omega }_i)\text{\hspace{1em}(27)}$$
$$=>={\mathbf{w}}_i^T\mathbf{x}+{\omega }_{i0}\text{\hspace{1em}(28)}$$
其中
$$\begin{gathered} {\mathbf{w}}_i={\mathbf{\Sigma }}^{-1}{\mu }_i \\ {\omega }_{i0}=-\frac{1}{2}{\mu }_i^T{\mathbf{\Sigma }}^{-1}{\mu }_i+\ln P({\omega }_i)\text{\hspace{1em}(29)} \end{gathered}$$

可见这种情况依然是$\mathbf{x}$的线性判别函数，因此决策面仍是一个超平面，若决策域$R_i$与$R_j$相邻，则决策面方程为：
$g_i(\mathbf{x})=g_j(\mathbf{x})$,可化简为
$${\mathbf{w}}^T(\mathbf{x}-{\mathbf{x}}_0)=0\text{\hspace{1em}(30)}$$
其中
$$\mathbf{w}={\mathbf{\Sigma }}^{-1}({\mu }_i-{\mu }_j)\text{\hspace{1em}(31)}$$
$${\mathbf{x}}_0=\frac{1}{2}({\mu }_i+{\mu }_j)-\frac{1}{({\mu }_i-{\mu }_j{)}^T{\mathbf{\Sigma }}^{-1}({\mu }_i-{\mu }_j)}\ln \frac{P({\omega }_i)}{P({\omega }_j)}({\mu }_i-{\mu }_j)\text{\hspace{1em}(32)}$$

对比式（20）和（21），差别就在于${\mathbf{\Sigma }}_i$的不同。决策面为满足上式（30）的$\mathbf{x}$的轨迹构成了${\omega }_i$与${\omega }_j$类之间的决策面，决策面过${\mathbf{x}}_0$，当$P({\omega }_i)=P({\omega }_j)$时，该超平面过$\frac{{\mu }_i+{\mu }_j}{2}$。如图：

这里超平面不与两均值向量的连线正交，因为$\mathbf{w}={\mathbf{\Sigma }}^{-1}({\mu }_i-{\mu }_j)$，除非$\mathbf{\Sigma }=I$

总结

• 在多元正态分布的条件下，基于最小错误率贝叶斯决策只要能做到各类别的协方差矩阵是一样的，那么无论先验概率是否相等，都可以用线性分界面实现。

• 最小（欧氏）距离分类器则要求各正态分布的协方差矩阵为单位矩阵，且各类别的先验概率相等。

三. 第三种情况各类的协方差矩阵互不相等

此时判别函数为$\mathbf{x}$的二次型，表示超二次曲面。