（《机器学习》完整版系列）第7章 贝叶斯分类器——7.2 再谈线性判别分析（高斯分布下的线性判别分析LDA实现了贝叶斯分类器）

在3.3 线性判别分析LDA 中我们讨论了线性判别分析LDA，在6.5 核对率回归和核线性判别分析中我们讨论了核线性判别分析KLDA，这里我们证明在一种常见的特殊情况下（二分类中两个类别中的数据都是高斯分布，且两类的方差同、先验同），线性判别分析LDA实现了贝叶斯分类器。

再谈线性判别分析

设两类别高斯分布的协方差矩阵相同，不妨设该协方差矩阵为$\mathbf{V}$。注：协方差矩阵为非负定，故由定义知： 对一般的$\mathbf{w}$有不等式${\mathbf{w}}^{\mathrm{T}}\mathbf{V}\mathbf{w}>0$。

（1）线性判别分析LDA

由【西瓜书式(3.39)】得
$$\begin{array}{rl}\mathbf{w}& ={\mathbf{S}}_{\mathrm{w}}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)\\ & =(\mathbf{V}+\mathbf{V}{)}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)\text{（由【西瓜书式(3.33)上一个等号】）}\\ & =\frac{1}{2}{\mathbf{V}}^{-1}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)\end{array}\text{\hspace{1em}(7.19)}$$

由于两类间具有很好的对称性，故可在降维后的空间中用点到各类中心的距离进行判别，即此时线性判别分析LDA为：

若
$$\begin{array}{r}\Vert {\mathbf{w}}^{\mathrm{T}}\mathbf{x}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_0{\Vert }^2⩽\Vert {\mathbf{w}}^{\mathrm{T}}\mathbf{x}-{\mathbf{w}}^{\mathrm{T}}{\mathbf{\mu }}_1{\Vert }^2\end{array}\text{\hspace{1em}(7.20)}$$
时，判别$\mathbf{x}\in D_0$，否则$\mathbf{x}\in D_1$。

将式(7.20)进行转化
$$\begin{array}{rl}& {\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{\mu }}_0)(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\mathrm{T}}\mathbf{w}⩽{\mathbf{w}}^{\mathrm{T}}(\mathbf{x}-{\mathbf{\mu }}_1)(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathrm{T}}\mathbf{w}\\ & {\mathbf{w}}^{\mathrm{T}}({\mathbf{\mu }}_0-{\mathbf{\mu }}_1)[({\mathbf{\mu }}_0+{\mathbf{\mu }}_1{)}^{\mathrm{T}}-2{\mathbf{x}}^{\mathrm{T}}]\mathbf{w}⩽0\\ & {\mathbf{w}}^{\mathrm{T}}2\mathbf{V}\mathbf{w}[({\mathbf{\mu }}_0+{\mathbf{\mu }}_1)-2\mathbf{x}{]}^{\mathrm{T}}\mathbf{w}⩽0\text{（由式(7.19)）}\\ & {\left[({\mathbf{\mu }}_0+{\mathbf{\mu }}_1)-2\mathbf{x}\right]}^{\mathrm{T}}\mathbf{w}⩽0\text{（由于wTVw>0）}\end{array}\text{\hspace{1em}(7.21)}$$

（2）二分类问题贝叶斯决策

若
$$\begin{array}{r}R(c_0|\mathbf{x})⩽R(c_1|\mathbf{x})\end{array}\text{\hspace{1em}(7.22)}$$
时，判别$\mathbf{x}\in D_0$，否则$\mathbf{x}\in D_1$。

由【西瓜书式(7.5)】，将式(7.22)进行转化：
$$\begin{array}{rl}& P(c_0|\mathbf{x})⩾P(c_1|\mathbf{x})\\ & P(c_0,\mathbf{x})⩾P(c_1,\mathbf{x})\\ & P(c_0)P(\mathbf{x}|c_0)⩾P(c_1)P(\mathbf{x}|c_1)\\ & P(\mathbf{x}|c_0)⩾P(\mathbf{x}|c_1)\text{（同先验P(c0)=P(c1)）}\end{array}$$
高斯分布代入并取对数
$$\begin{array}{rl}& -\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\mathrm{T}}{\mathbf{V}}^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)⩾-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\mathrm{T}}{\mathbf{V}}^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)\\ & ({\mathbf{\mu }}_0-{\mathbf{\mu }}_1{)}^{\mathrm{T}}{\mathbf{V}}^{-1}({\mathbf{\mu }}_0+{\mathbf{\mu }}_1-2\mathbf{x})⩽0\\ & {\mathbf{w}}^{\mathrm{T}}({\mathbf{\mu }}_0+{\mathbf{\mu }}_1-2\mathbf{x})⩽0\text{（取wT=(μ0−μ1)TV−1）}\end{array}\text{\hspace{1em}(eq:07-67)}$$

式(7.21)与式(7.23)一致，即在所设条件下，线性判别分析式(7.20)能得到贝叶斯最优分类器式(7.22)。

本文为原创，您可以：

• 点赞（支持博主）
• 收藏（待以后看）
• 转发（他考研或学习，正需要）
• 评论（或讨论）
• 引用（支持原创）
• 不侵权

上一篇：7.1 贝叶斯决策论（贝叶斯学派与频率学派有很大的分岐）
下一篇：7.3 极大似然法（似然：类条件概率）