数据降维之线性判别分析（LDA）——基本原理与基于python sklearn库的LDA实现

最新推荐文章于 2024-08-25 10:33:06 发布

章鱼千

最新推荐文章于 2024-08-25 10:33:06 发布

阅读量4k

点赞数 1

分类专栏：机器学习数据处理文章标签：机器学习数据降维 python 线性判别分析（LDA）

本文链接：https://blog.csdn.net/ZhangYuq16/article/details/96579051

版权

线性判别分析（LDA）是一种数据降维技术，旨在保持同类数据间的距离，增大不同类数据间的距离。LDA在二分类问题中可直接降至一维。算法包括计算类内均值、类间散度矩阵、类内散度矩阵和特征向量。使用sklearn库实现LDA，以39节点电网仿真数据为例，展示了降维后的样本分类效果。

摘要由CSDN通过智能技术生成

简介

线性判别分析（Linear Discriminate Analysis, LDA）通过正交变换将一组可能存在相关性的变量降维变量，目标是将高维数据投影至低维后，同类的数据之间距离尽可能近、不同类数据之间距离尽可能远。

应用场景：
对于拟合、分类算法，可以利用主成分分析对输入数据实现降维，去除冗余数据可以提高计算效率并提高计算精度；
对于难以进行可视化的高维数据可以利用主成分分析映射至二维进行可视化，方便进行展示，如果需要展示的数据从属于多个类别，LDA的降维效果优于PCA。
由于LDA本身降维时就以分离不同类数据为目的，因此对于二分类问题可以直接降至一维进行分类。

缺点：
利用LDA降维时有最大维数限制，若输入数据的总类别数为 $C$ 则最大维数是 $C - 1$ ，这意味着在对高维但类别数较少的问题进行降维时LDA可能会导致大量信息的丢失。

算法流程

符号约定：
记总样本个数为 $n$ ，每个初始样本所含特征数为 $N$ ，最终选择的主成分所含特征数为 $K$
记第 $i$ 个样本的第 $j$ 个特征为： $x_{ij}$
记 $n$ 个初始样本为： $X_1,X_2,...,X_n$
每个初始样本为一个 $N$ 维向量，第 $i$ 个样本为 $X_i=\begin{bmatrix}x_{i1} &x_{i1} & ... &x_{iN} \end{bmatrix}$
记降维后的样本为：