线性判别分析（Linear Discriminant Analyst）

线性判别分析LDA

为了最优分类，我们要计算后验概率$P(G|X)$。$设f_k(x)$是类$G=k$中$X$的类条件密度，而$\pi_k$是类$k$的先验概率，贝叶斯定理给出
$P(G=k|X=x)={f_k(x)\pi_k \over \sum_{l=1}^Kf_l(x)\pi_l}$
假定我们用多元高斯分布对每个类密度建模
$f_k(x)={1\over (2\pi )^{p/2}|\Sigma_k|^{1/2}}exp(-1/2(x-\mu_k)^T\Sigma_k^{-1}(x-\mu_k)$
线性判别分析假定所有类具有共同的协方差矩阵，即
$\Sigma_k=\Sigma$
这样，为了比较两个类，只需要考察对数比率
$log{P(G=k|X=x)\over P(G=l|X=x)} = log{f_k(x)\over f_l(x)}+log{\pi_k\over \pi_l}$
$=log{\pi_k\over \pi_l}-1/2(u_k+u_l)\Sigma^{-1}(u_k+u_l)+x^T\Sigma^{-1}(u_k-u_l)$
这是x上的线性方程。相等的协方差矩阵使得我们可以消去二次项，因此任意两个类别的判定边界都是一个超平面。

从上面的判别边界可以看出，线性判别函数
δk(x)=logπk−1/2ukΣ−1uk+xTΣ