LDA与PCA数据降维算法理论与实现（基于python）

数据降维

一、 线性判别分析（LDA）

linear Discriminant Analysis

用途：

数据预处理中的降维，分类任务

目标：

LDA关心的是能够最大化类间区分度的坐标轴成分
将特征空间（数据集中的多位样本）投影到一个维度更加小的Kw维子空间中，同时保持区分类别的信息

原理

投影到维度更低的空间，使得投影后的点，会形成按照类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近方法

监督性：LDA是‘有监督’的，它的计算是另一类特定的方向
投影：找到更合适分类的空间
与PCA不同，更关心分类而不是方差

数学原理

原始数据

变换数据

目标

找到投影该投影： $y=w^T\ast x$
LDA分类的一个目标是使得不同类别之间的距离越远越好，
同一个类别之间的距离越近越好
每类样例的均值：${\mu }_i=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}x$
投影后的均值：$\widetilde{{\mu }_i}=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}y=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}{w}^T\ast x=w^T{\mu }_i$
投影后的两类样本中心点尽量分离：
$J(w)=|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}|=|w^T({\mu }_1-{\mu }_2)|$

不仅是要考虑最大化$J(w)$
还有 散列值 ${\mu }_i$（样本的密集程度，值越大，越分散，反之，越集中）
同类之间应该越密集些：${\mu }_i=\frac{1}{N_i}{\sum }_{x\in {\omega }_i}(y-\widetilde{{\mu }_i}{)}^2$

如下图，如果映射到X1轴上，数据较为分散，而且红色的数据簇和蓝色的数据簇会重合，无法分开，而投影到X2轴上虽然$J(w$小了，可是数据却比较集中，分类效果相对于X1轴会比较好

目标函数：$j(w)=\frac{|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}{|}^2}{{\widetilde{S_1}}^2+{\widetilde{S_2}}^2}$
散列值公式展开：${\widetilde{S_i}}^2={\sum }_{y\in {\omega }_i}(y-\widetilde{{\mu }_i}{)}^2={\sum }_{x\in {\omega }_i}(w^{T}x-w^T{\mu }_i{)}^2={\sum }_{x\in {\omega }_i}(x-{\mu }_i)(x-{\mu }_i{)}^{T}w$
散列矩阵（scatter matrices）：
$S_i={\sum }_{x\in {\omega }_i}(x-{\mu }_i)(x-{\mu }_i{)}^T$
**类内散布矩阵$S_w=S_1+S_2$：
${\widetilde{S_i}}^2=w^T{S}_{i}w$ ======> ${\widetilde{s_1}}^2+{\widetilde{s_2}}^2=w^T{S}_{w}w$

目标函数：$J(w)=|\widetilde{{\mu }_1}-\widetilde{{\mu }_2}{|}^2=w^T({\mu }_1-{\mu }_2)({\mu }_1-{\mu }_2{)}^{T}w=w^T{S}_{B}w$
$S_B$称为类间散布矩阵
最终目标函数：$J(w)=\frac{w^T{S}_{B}w}{w^T{S}_{w}w}$
不过，如果分子分母都是可以取任意值的，那就会使得有无穷解，我们将分母限制为长度为1
根据拉格朗日乘子法：
$c(w)=w^T{S}_{B}w-\lambda (w^T{S}_{w}w-1)=>\frac{dc}{dw}=2S_{B}w-2\lambda S_{w}w==>S_{b}w=\lambda S_{w}w$
两边都乘以$S_w的逆：$$S_w^{-1}{S}_{B}w=\lambda w$(w就是矩阵$S_w^{-1}{S}_B$的特征向量）

二、主成分分析（PCA）

PCA(Principal Component Analysis)降维中最常用的一种手段为了提取最有价值的信息（基于方差）降维后，数据的物理意义就被模糊化了，此时可以通过数据降维来隐藏数据的真实信息。

基本数学概念

向量的表示及基变换

内积：$(a_1,a_2,...,a_n)\cdot (b_1,b_2,...,b_n)=a_1{b}_1+a_2{b}_2+...+a_n{b}_n$
也就是:$A\cdot B=|A||B|cos(a)$ ,设向量B的模为1，则A与B的模为1,则A与B的内积等于A所在直线投影的矢量长度

向量可以表示为（3,2）实际上表示线性组合：$x(1,0{)}^T+y(0,1{)}^T$
基：（0,1）和（1,0）叫做二维空间中的一组基

基变换: 基是正交的（即内积为0，或者直观的说互相垂直）且线性无关
变换: 数据与一个基做内积运算，结果作为第一个新的坐标分量，然后与第二个基做内积运算，结果作为第二个新坐标的分量如数据（3,2）映射到基中坐标：
$(\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\end{array})(\begin{array}{c}3\\ 2\end{array})=(\begin{array}{c}\frac{5}{\sqrt{2}}\\ -\frac{1}{\sqrt{2}}\end{array})$

两个矩阵相乘的意义是将右边矩阵中你的每一列列向量变换到左边矩阵中每一行行向量为基表示的空间去

协方差矩阵

方向: 如何选择这个方向（基）才能尽量保留最多的原始信息呢？一种直观的看法是：洗完投影值尽可能分散
方差： $Var(a)=\frac{1}{m}{\sum }_{i=1}^m(a_i-\mu {)}^2$
寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大
协方差
协方差（假设均值为0时）：$Cov(a,b)=\frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i$
如果单纯只选择方差最大的方向，后续方向应该会和方差最大的方向接近重合。
解决方法： 为了让两个字段尽可能的表示更加多的原始信息，不希望他们之间存在（线性）相关性的，可以使用两个字段的协方差表示其相关性$Cov(a,b)={\sum }_{i=1}^m{a}_i{b}_i$
当协方差为0时，表示两个字段完全独立。为了让协方差为0,选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择两个方向一定是正交的（第一个2基在方差最大的方向上。第二个基与第一个基正交）。

优化目标

将一组N维向量降为K维（K大于0,小于N）,目标是选择K个单位正交基，使原始数据变换到这组基后，各字段两两间协方差为0，字段的方差尽可能大
协方差矩阵：$X=\left(\begin{array}{cccc}{a}_1& a_2& ...& a_m\\ b_1& b_2& ...& b_m\end{array}\right)$
$\frac{1}{m}X{X}^T=\left(\begin{array}{cc}\frac{1}{m}{\sum }_{i=1}^m{a}_i^2& \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i\\ \frac{1}{m}{\sum }_{i=1}^m{a}_i{b}_i& \frac{1}{m}{\sum }_{i=1}^m{b}_i^2\end{array}\right)$
矩阵对角线的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。
协方差矩阵对角化： 即除对角线外其它的元素化为0，并且在对角线上将元素按大小从上到下排列
协方差矩阵对角化：$PC{P}^T=\Lambda =\left(\begin{array}{ccccc}{\lambda }_1& & & & \\ & & {\lambda }_2& & \\ & & & \ddots & \\ & & & & {\lambda }_n\end{array}\right)$
实对称矩阵：一个n行n列的实对称矩阵一定可以找到n个单位正交特征向量
$E=\left(\begin{array}{cccc}{e}_1& e_2& \cdots & e_n\end{array}\right)$
实对称矩阵可进行对角化：
$EC{E}^T=\Lambda =\left(\begin{array}{ccccc}{\lambda }_1& & & & \\ & & {\lambda }_2& & \\ & & & \ddots & \\ & & & & {\lambda }_n\end{array}\right)$
根据特征值得我从大到小，将特征向量从上到下排列，则用前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要降维后的数据矩阵Y

三、python实现

基于python的LDA和PCA实例（自己实现和调用现成的库）jupyter源码：
https://download.csdn.net/download/qq_37135484/11579884

LDA

PCA