为什么估计独立的协方差矩阵会导致二次决策边界，而假设相同的协方差矩阵会导致线性决策边界

引言

在分类任务中，特别是在统计模式识别和机器学习中，我们经常使用多元高斯分布来建模类条件密度。线性判别分析 (LDA) 和 二次判别分析 (QDA) 是两种此类方法，它们的区别在于对类协方差矩阵的假设。理解为什么估计独立的协方差矩阵会导致二次决策边界，而假设相同的协方差矩阵会导致线性决策边界，需要深入探讨决策函数的数学推导。

---

多元高斯类条件密度

假设我们有一个二分类问题，类别为 $C_0$ 和 $C_1$，观测值为 $\mathbf{x}\in {\mathbb{R}}^D$。我们假设类条件密度是多元高斯分布：

• 对于类别 $C_0$：

  $$P(\mathbf{x}|C_0)=\frac{1}{(2\pi {)}^{D/2}|{\mathbf{\Sigma }}_0{|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Sigma }}_0^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)\right)$$

• 对于类别 $C_1$：

  $$P(\mathbf{x}|C_1)=\frac{1}{(2\pi {)}^{D/2}|{\mathbf{\Sigma }}_1{|}^{1/2}}\exp \left(-\frac{1}{2}(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)\right)$$

---

贝叶斯决策规则

为了对新观测值 $\mathbf{x}$ 进行分类，我们使用贝叶斯决策规则，它选择后验概率 $P(C_k|\mathbf{x})$ 最高的类别。假设等先验概率或包含先验概率，则决策基于比较判别函数：

$${\delta }_k(\mathbf{x})=\ln P(\mathbf{x}|C_k)+\ln P(C_k)$$

如果 ${\delta }_1(\mathbf{x})>{\delta }_0(\mathbf{x})$，我们将 $\mathbf{x}$ 归为 $C_1$ 类，否则归为 $C_0$。

---

判别函数的推导

当协方差矩阵不同（QDA）时

我们计算判别函数的差异 ${\delta }_1(\mathbf{x})-{\delta }_0(\mathbf{x})$：

$${\delta }_1(\mathbf{x})-{\delta }_0(\mathbf{x})=\ln P(\mathbf{x}|C_1)-\ln P(\mathbf{x}|C_0)+\ln P(C_1)-\ln P(C_0)$$

代入 $\ln P(\mathbf{x}|C_k)$ 的表达式：

$${\delta }_1(\mathbf{x})-{\delta }_0(\mathbf{x})=-\frac{1}{2}\left[\ln |{\mathbf{\Sigma }}_1|+(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)\right]+\frac{1}{2}\left[\ln |{\mathbf{\Sigma }}_0|+(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Sigma }}_0^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)\right]+\ln \frac{P(C_1)}{P(C_0)}$$

简化得到：

$$\delta (\mathbf{x})={\delta }_1(\mathbf{x})-{\delta }_0(\mathbf{x})=\ln \frac{P(C_1)}{P(C_0)}-\frac{1}{2}\left[\ln \frac{|{\mathbf{\Sigma }}_1|}{|{\mathbf{\Sigma }}_0|}\right]-\frac{1}{2}\left[(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}_1^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)-(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Sigma }}_0^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)\right]$$

决策边界由 $\delta (\mathbf{x})=0$ 决定：

$$\delta (\mathbf{x})=0$$

二次项：

注意，判别函数中包含 $\mathbf{x}$ 的二次项，来自表达式 $(\mathbf{x}-{\mathbf{\mu }}_k{)}^{\top }{\mathbf{\Sigma }}_k^{-1}(\mathbf{x}-{\mathbf{\mu }}_k)$。这些项涉及到 $\mathbf{x}$ 的分量的乘积，导致二次决策边界。

当协方差矩阵相同时（LDA）

假设 ${\mathbf{\Sigma }}_0={\mathbf{\Sigma }}_1=\mathbf{\Sigma }$：

1. 因为 ${\mathbf{\Sigma }}_0={\mathbf{\Sigma }}_1$，行列式项 $\ln |{\mathbf{\Sigma }}_1|$ 和 $\ln |{\mathbf{\Sigma }}_0|$ 相互抵消：

   $$\ln |{\mathbf{\Sigma }}_1|-\ln |{\mathbf{\Sigma }}_0|=0$$

2. 二次项因为 ${\mathbf{\Sigma }}_0^{-1}={\mathbf{\Sigma }}_1^{-1}={\mathbf{\Sigma }}^{-1}$ 而简化：

   $$(\mathbf{x}-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_1)-(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Sigma }}^{-1}(\mathbf{x}-{\mathbf{\mu }}_0)$$

展开二次型：

$$\begin{array}{rl}& (\mathbf{x}-{\mathbf{\mu }}_1{)}^{\top }{\mathbf{\Sigma }}^{-1}\mathbf{x}-2{\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}\mathbf{x}+{\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1\\ & -(\mathbf{x}-{\mathbf{\mu }}_0{)}^{\top }{\mathbf{\Sigma }}^{-1}\mathbf{x}+2{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}\mathbf{x}-{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_0\\ =& -2({\mathbf{\mu }}_1^{\top }-{\mathbf{\mu }}_0^{\top }){\mathbf{\Sigma }}^{-1}\mathbf{x}+({\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_0)\end{array}$$

注意，项 ${\mathbf{x}}^{\top }{\mathbf{\Sigma }}^{-1}\mathbf{x}$ 相互抵消。

结果为线性判别函数：

代回 $\delta (\mathbf{x})$ 中：

$$\delta (\mathbf{x})=\ln \frac{P(C_1)}{P(C_0)}+({\mathbf{\mu }}_1^{\top }{\mathbf{\mu }}_0^{\top }){\mathbf{\Sigma }}^{-1}\mathbf{x}-\frac{1}{2}({\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_0)$$

定义：

• ${\mathbf{w}}^{\top }=({\mathbf{\mu }}_1^{\top }-{\mathbf{\mu }}_0^{\top }){\mathbf{\Sigma }}^{-1}$
• $w_0=\ln \frac{P(C_1)}{P(C_0)}-\frac{1}{2}({\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_0)$

因此，判别函数简化为：

$$\delta (\mathbf{x})={\mathbf{w}}^{\top }\mathbf{x}+w_0$$

这是 $\mathbf{x}$ 的线性函数。设 $\delta (\mathbf{x})=0$ 定义了分离类别的超平面（线性决策边界）。

---

结论

• 独立协方差矩阵（QDA）：当我们为每个类别估计独立的协方差矩阵（${\mathbf{\Sigma }}_0$ 和 ${\mathbf{\Sigma }}_1$）时，判别函数中的二次项保留，导致二次决策边界。这个边界可以捕捉更复杂的特征关系，但需要估计更多参数。

• 相同协方差矩阵（LDA）：当我们假设两个类别共享相同的协方差矩阵（${\mathbf{\Sigma }}_0={\mathbf{\Sigma }}_1=\mathbf{\Sigma }$）时，判别函数中的二次项抵消，导致线性决策边界。这简化了模型，并减少了需要估计的参数数量。

---

意义

• 模型复杂性：

  • QDA 更灵活，能够建模更复杂的类边界，但代价是需要估计更多的参数，可能需要更多的数据以避免过拟合。
  • LDA 假设线性可分性和共享协方差，使其不如 QDA 灵活，但在数据有限时更为稳健。

• 参数估计：

  • QDA 需要估计 ${\mathbf{\Sigma }}_0$ 和 ${\mathbf{\Sigma }}_1$，这涉及 $D(D+1)/2$ 个参数用于每个协方差矩阵，还需要估计均值 ${\mathbf{\mu }}_0$ 和 ${\mathbf{\mu }}_1$。
  • LDA 只需估计一个公共的协方差矩阵 $\mathbf{\Sigma }$ 和类均值 ${\mathbf{\mu }}_0$ 和 ${\mathbf{\mu }}_1$。

• 计算效率：

  • LDA 由于参数较少且决策边界为线性，计算效率较高。
  • QDA 由于二次项和独立协方差矩阵的存在，计算复杂度更高。

---

二维情况下的可视化

在二维情况下：

• LDA 的决策边界是一条直线（线性边界），将两个类别分开。
• QDA 的决策边界是一个曲线（二次边界），可能是椭圆、抛物线或双曲线，具体取决于协方差矩阵。

---

数学总结

LDA 决策边界方程：

$${\mathbf{w}}^{\top }\mathbf{x}+w_0=0$$

其中：

• $\mathbf{w}={\mathbf{\Sigma }}^{-1}({\mathbf{\mu }}_1-{\mathbf{\mu }}_0)$
• $w_0=\ln \frac{P(C_1)}{P(C_0)}-\frac{1}{2}({\mathbf{\mu }}_1^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_1-{\mathbf{\mu }}_0^{\top }{\mathbf{\Sigma }}^{-1}{\mathbf{\mu }}_0)$

QDA 决策边界方程：

设 $\delta (\mathbf{x})=0$ 并包含 ${\mathbf{x}}^{\top }{\mathbf{\Sigma }}_k^{-1}\mathbf{x}$ 的二次项。

---

实际考虑因素

• 数据需求：

  • QDA 需要更多的数据来可靠地估计参数，因为参数更多。
  • LDA 适用于协方差相等的假设合理且数据较为有限的情况。

• 假设：

  • LDA 假设类别共享相同的协方差矩阵，且数据服从正态分布。
  • QDA 放宽了相等协方差的假设，允许类别分布具有不同的形状和方向。

• 模型选择：

  • 当类别是线性可分或你更倾向于使用简单模型时，使用 LDA。
  • 当决策边界预计为非线性，且你有足够的数据来准确估计协方差矩阵时，使用 QDA。

---

总结

造成决策边界差异的关键原因在于判别函数中的二次项。当协方差矩阵相等时，这些二次项会相互抵消，结果是 $\mathbf{x}$ 的线性函数。当协方差矩阵不同，二次项保留，导致二次判别函数。这一数学特性解释了为什么估计独立的协方差矩阵会产生二次决策边界，而假设共享协方差矩阵会产生线性决策边界。

---

参考文献

• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
• Duda, R. O., Hart, P. E., & Stork, D. G. (2001). Pattern Classification. Wiley-Interscience.
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning. Springer.

---