线性判别分析（二）——Bayes最优分类器的角度看LDA

线性判别分析（一）——LDA介绍
线性判别分析（二）——Bayes最优分类器的角度看LDA

在线性判别分析（一）——LDA介绍 一文中，我们介绍了LDA的基本思想、算法，但其实严格来讲博客中介绍的都是FDA。本文我们就来探究一下LDA的真面目。

1 Bayes准则

关于贝叶斯最优分类器的介绍请参考周志华的《机器学习》P147。对分类问题，在所有概率都已知的情况下，贝叶斯决策论考虑如何根据这些概率以及误判损失来选择最优类别标记。直接引入概念：

贝叶斯判定准则
为最小化总体风险，需要在每个样本上选择那个能使条件风险$R(c|x)$最小的类别标记，即

$$h^*(x)=\arg \min_{c\in {\cal Y}}R(c|x).$$
$h^*$称为贝叶斯最优分类器。

当学习目标是最小化分类错误率时，条件风险

$$R(c|x)=1-P(c|x),$$
于是贝叶斯最优分类器为 $$h^*(x)=\arg \max_{c\in{\cal Y}}P(c|x).$$
再利用贝叶斯定理得到 $$h^*(x)=\arg \max_{c\in{\cal Y}}P(c)P(x|c).\tag{1}$$
这意味着，根据贝叶斯判定准则，对每个样本，我们需要选择使 $P(c)P(x|c)$最大的类别。

机器学习的任务就是根据训练数据去估计概率分布$P(c|x)$或者$P(x,c)$。

2 LDA新视角

在LDA中，我们假设$P(x|c)$服从高斯分布，多变量高斯分布的密度函数为

$$f_c(x)=\dfrac{1}{(2\pi)^{d/2}|\Sigma_c|^{1/2}} e^{-\frac{1}{2}(x-\mu_c)^T\Sigma_{c}^{-1}(x-\mu_c)} \tag{2}$$
其中d是实例x的维数， Σ