线性回归（三）

线性判别分析

线性判别分析(Linear Discriminant Analysis,简称LDA)是一种经典的线性学习方法，在二分类问题上因为最早由Fisher, 1936] 提出,亦称“Fisher判别分析”

思想原理（模型）

从几何的角度，让全体训练样本经过投影
给定训练样例集，设法将样例投影到一条直线上，使得同类样例的投影点尽可能接近（同类样本方差小），异类样例尽可能原理，在对新鲜样本进行分类时，将其投影到同样的这条直线上，再根据投影点的位置来确定新样本的类别.

目标函数

为了使同类样例的投影点尽可能接近，可以让同类样例投影点的协方差尽可能小
$$w^T{\sum }_{0}w+w^T{\sum }_{1}w$$
而想要异类样例的投影点尽可能远离，可以让类中心之间的距离尽可能大
$$||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2$$
同时考虑两者，则可以得到最大化的目标
$$J=\frac{||w^T{\mu }_0-w^T{\mu }_1|{|}_2^2}{w^T{\sum }_{0}w+w^T{\sum }_{1}w}=\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T({\sum }_0+{\sum }_1)w}$$
定义“类内散度矩阵”
$$S_w={\sum }_0+{\sum }_1=\sum _{x\in X_0}(x-{\mu }_0)(x-{\mu }_0{)}^T+\sum _{x\in X_1}(x-{\mu }_1)(x-{\mu }_1{)}^T$$
定义“类间散度矩阵”
$$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1)$$
目标函数可以重写为
$$J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w}$$
如何确定w呢，注意观察上述式子，可以知道目标函数分子分母是关于w的二次项，所以解与w的长度无关，只与其方向有关，为了不失其一般性，可以令
$$w^T{S}_{w}w=1$$
问题可以转化为
$$\underset{w}{\min }{w}^T{S}_{b}w$$
$$s.t.w^T{S}_{w}w=1$$
这样可以将问题转化为在一个等式约束条件下，另一个函数求极值的问题。所以可以想到高数里的拉格朗日乘子法
$$S_{b}w=\lambda S_{w}w$$
由于
$$({\mu }_0-{\mu }_1{)}^{T}w$$
是标量
所以
$$S_{b}w=\lambda ({\mu }_0-{\mu }_1)$$
最后得到
$$w=S_w^{-1}({\mu }_0-{\mu }_1)$$
考虑到数值解的稳定性，在实践中通常是对S_w进行奇异值分解
$$S_w=U\sum V^T$$
$$S_w^{-1}=V{\sum }^{-1}U$$
LDA算法还可以推广到多任务学习中，我们可以定义“全局散度矩阵”
$$S_t=S_b+S_w=\sum _{i=1}^m(x_i-\mu )(x_i-{\mu }_1{)}^T$$
其中将类内散度矩阵定义为每个类别的散度矩阵之和
$$S_w=\sum _{i=1}^N{S}_{w_i}$$
其中
$$S_{w_i}=\sum _{x\in X_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$$
由上述式子们可得
$$S_b=S_t-S_w=\sum _{i=1}^N{m}_i({\mu }_i-\mu )({\mu }_i-\mu {)}^T$$
显然，多分类LDA可以有多种实现方法，使用Sb,Sw,St中饭任何三个就可