LDA(线性判别分析）

introduction

lda原理
一个常见的LDA分类基本思想是假设各个类别的样本数据符合高斯分布，这样利用LDA进行投影后，可以利用极大似然估计计算各个类别投影数据的均值和方差，进而得到该类别高斯分布的概率密度函数。当一个新的样本到来后，我们可以将它投影，然后将投影后的样本特征分别带入各个类别的高斯分布概率密度函数，计算它属于这个类别的概率，最大的概率对应的类别即为预测类别。

model assumption

${\pi }_k$: class k 的先验概率
${\sum }_{i=1}^k{\pi }_k=1$
bayes theorem:$p(G=k|X=x)=\frac{{\pi }_k{f}_k(x)}{{\sum }_{i=1}^k{\pi }_k{f}_k(x)}$
$f_k(x)$Gauss distribution:$f_k(x)=\frac{1}{(2\pi {)}^{p/2}|{\Sigma }_k{|}^{1/2}}exp(-\frac{1}{2}(x-{\mu }_k{)}^T{\Sigma }_k^{-1}(x-{\mu }_k))$
${\Sigma }_k=\Sigma$

look at log ratio:
$log(\frac{p(G=k|X=x)}{p(G=l|X=x)})=log\frac{{\pi }_k}{{\pi }_l}-\frac{1}{2}({\mu }_l+{\mu }_k{)}^T{\Sigma }^{-1}({\mu }_k-{\mu }_l)+({\mu }_k-{\mu }_l){\Sigma }^{-1}x$

linear discriminant function

${\delta }_k(x)=x^T{\sigma }^{-1}{\mu }_k-\frac{1}{2}{\mu }_k^T{\Sigma }^{-1}{\mu }_k+log{\pi }_k$

parameter estimation

${\hat{\pi }}_k=\frac{N_K}{N}$
${\hat{\mu }}_k={\sum }_{g_i=k}\frac{x_i}{N_K}$
$\hat{\Sigma }={\sum }_{k=1}^K{\sum }_{g_i=k}(x_i-{\hat{\mu }}_k{)}^T(x_i-{\hat{\mu }}_k)/(N-K)$