关于特征提取和PCA VS LDA(linear Discriminant Analysis)

最新推荐文章于 2023-06-27 20:22:27 发布
最新推荐文章于 2023-06-27 20:22:27 发布
阅读量829 收藏
点赞数
分类专栏： Feature enginnering Machine Learning

关于特征提取和PCA VS LDA(linear Discriminant Analysis)(一)

  (2015-05-24 12:57:25)
转载▼

周六日看了两个很不错的营养贴，其一曰：
linear Discriminant Analysis Bit by Bit
http://sebastianraschka.com/Articles/2014_python_lda.html
其二曰：Discover Feature Engineering, How to Engineer Features and How to Get Good at It
http://machinelearningmastery.com/discover-feature-engineering-how-to-engineer-features-and-how-to-get-good-at-it/

 

现在做一下总结：

(一) linear Discriminant Analysis Bit by Bit

比较了下两种降维方法 lda和PCA，作者认为LDA可能要更好一点，因为PCA降维的依据是：对整个数据集(假设每个样本用n个特征表示)中相互垂直的n个方向(这个方向由特征向量指定)依据其对应的特征值进行排序，其直观理解是，这批样本在n个方向上方差大小不同，找出最大的若干方差所对应的特征向量，然后以这几个特征向量所组成的子空间作为新样本空间，将原来样本都透射到这个子空间去。

而LDA所使用的方法是先计算出类内散点矩阵和类间散点矩阵：

 关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

 关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

然后类内矩阵的逆乘以类间矩阵A：

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

之后找出矩阵A的TOPnT特征值对应的特征向量，组成矩阵W，将原样本-特征矩阵X与新矩阵W相乘，得到X矩阵在新的子空间投影，也即降维后的样本-特征矩阵

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)
下图是降维后各样本点的散点图，X轴是最大特征值对应的特征向量方向，Y轴是次大特征值对应的特征向量方向，从中可以看出X轴对各类样本点的区分相当好，而Y轴就要差很多。

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

使用PCA和LDA同时对样本集合X进行降维，都降至2维，得到的散点图如下：

关于特征提取和PCA <wbr>VS <wbr>LDA(linear <wbr>Discriminant <wbr>Analysis)(一)

可以看出，对于PCA降维后的样本散点图来说，其整体样本沿着X轴的方差最大，而沿着Y轴的方差次大。

而从LDA图可以看出，X轴方向对各类样本的区分度最好，而Y轴对各类样本的区分度次好。

所以可以看出，如果仅仅用于分类的话，LDA降维的效果要比PCA好一些。PCA更适合于解释样本在不同方向上的变化幅度大小。
我认为这篇帖子中，最值得一提的是作者对使用PCA的一些心得，比如如果特征值的分布很平均，那么我用PCA无济于事。

此外，他还提到LDA方法假设的几个前提：

(1)  样本数据是正态分布；

(2)  特征是随机独立的；

(3)  对于每个类别，具有一致的协方差矩阵(不太明白这块，原文是identical covariance matrix for every class，后来想了想，貌似是这个意思，每个样本都用n个特征，把这些特征做随机变量，对每个类别来说，n个随机变量就能形成一个协方差矩阵，对于所有的类来说，他们对应的协方差矩阵都是一样的--看了下面文章有感https://onlinecourses.science.psu.edu/stat557/book/export/html/35)；

不过作者又讲到，这些假设只是将LDA用于分类器时候适用的条件，如果LDA用于降维的话，即使这些条件不满足，跑出来的结果也足够好。


 

3

喜欢

0

张博208
关注
专栏目录
使用LDA（Linear Discriminant Analysis）进行降维(dimention reduction)详解和实战
data+scenario+science+insight
05-04 813
使用LDA（Linear Discriminant Analysis）进行降维(dimention reduction)详解和实战 LDA也可被视为一种监督降维技术。不同于PCA（Principle Compoent Analysis）它是一种有监督的降维方法； LDA模型的优缺点： 优点： 在降维过程中可以使用类别的先验知识经验，而像PCA这样的无监督学习则无法使用类别先验知识。 在样本分类信息依赖均值而不是方差的时候，比PCA之类的算法较优。 缺点： 不适合...
2D-LDA特征提取
12-25
2D-LDA特征提取，MATLAB程序，很使用，学习LDA的兄弟们可以看看
线性判别式分析-LDA-Linear Discriminant Analysis
weixin_33743661的博客
10-21 164
1. LDA是什么     线性判别式分析（Linear Discriminant Analysis），简称为LDA。也称为Fisher线性判别（Fisher Linear Discriminant，FLD），是模式识别的经典算法，在1996年由Belhumeur引入模式识别和人工智能领域。     基本思想是将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，...
线性判别式分析（LDA）：特征提取
m0_37827994的博客
03-06 3670
线性判别式分析（LDA） 线性判别式分析(Linear Discriminant Analysis, LDA) 是一种有效的特征抽取方法。使用这种方法能够使投影后模式样本的类间散布矩阵最大，并且同时类内散布矩阵最小。即模式在该空间中有最佳的可分离性。 1.原理 将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影...
机器学习-特征抽取-LDA(Linear Discriminant Analysis)
Santorinisu Blogs
02-21 939
Section I: Brief Introduction on LDA Linear Discriminat Analysis (LDA) can be used as a technique for feature extraction to increase the computational efficiency and reduce the degree of overfitting d...
线性降维之LDA与PCA
刘炫320的博客
07-20 2282
1.前言如果我只说LDA，那么对于自然语言处理的人来讲，可能更熟悉的是LDA主题模型。但是一旦我跟上PCA了，那么这两个兄弟，我相信从事机器学习相关的同学就会知道，这是在讲——线性降维。2. 摘要我们这里首先给出LDA和PCA之间的区别与联系，然后我们再详细讲解两个线性降维方法。因为实际上，scikit-learning机器学习工具包中就已经包含了LDA和PCA降维的实现，因此我们如果在应用时，可以
特征提取数据降维PCA、LDA、MDS、LLE、TSNE等降维算法的python实现.zip
03-10
例如，使用`sklearn.decomposition.PCA`进行PCA，`sklearn.discriminant_analysis.LinearDiscriminantAnalysis`进行LDA，`sklearn.manifold.MDS`进行MDS，`sklearn.manifold.LocallyLinearEmbedding`进行LLE，以及`...
Linear Discriminant Analysis :A Tutorial on Data Reduction
06-14
线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计学习方法，主要用于数据降维、分类和模式识别。它的核心目的是在保持数据类别差异性的同时，尽可能地减少数据的特征维度，以便于后续的分析...
线性判别分析（Linear Discriminant Analysis， LDA）1
08-03
与无监督的主成分分析（PCA）不同，LDA利用样本的类别信息来指导降维过程，旨在最大化类别间的方差，同时最小化类别内的方差。 LDA的核心思想可以概括为“投影后类内方差最小，类间方差最大”。在降维过程中，LDA...
LDA方法人脸特征提取
01-11
LDA方法人脸特征提取
用LDA和PCA模式识别方法对人脸特征进行提取计算的Matlab程序
10-13
用LDA和PCA模式识别方法对人脸特征进行提取计算的Matlab程序
Iris数据集的LDA和PCA 2D投影比较.ipynb
05-20
需要使用anaconda notebook打开，
机器学习：特征提取之LDA
pantingd的博客
06-25 4890
1. LDA的基本思想 LDA基本思想：给定带有标签的训练样本集，设法将样本投影到一条直线上，使得同类样本的投影点尽可能近，异类样本的投影点尽可能远。如果是进行分类，将新样本投影到同样的这条直线上，根据投影点的位置来确定新样本的类别。 将高维的模式样本投影到最佳鉴别矢量空间，以达到抽取分类信息和压缩特征空间维数的效果，投影后保证模式样本在新的子空间有最大的类间距离和最小的类内距离，即模式在该空间中有最佳的可分离性 举个例子，上图给出了两种不同的投影方式，直观上来看右图更好。因为右图中蓝色和红色数据较为集中
基于LDA特征提取的人脸识别算法matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
06-27 858
假设我们有一个由$n$个样本组成的数据集$X={x_1,x_2,...,x_n}$，每个样本有$d$维特征，我们的目标是将这个数据集降到$k$维，即将每个样本$x_i$转化为$k$维向量$y_i$，使得样本在$k$维空间中的方差最大。我们可以通过对样本协方差矩阵进行特征值分解，得到协方差矩阵的$k$个最大特征值和对应的特征向量，将这$k$个特征向量组成的矩阵$W$作为变换矩阵，将每个样本$x_i$乘以变换矩阵$W$，得到降维后的样本$y_i=W^Tx_i$。
文本分类（五）：使用LDA进行文本的降维---提特征
热门推荐
xgli的博客
10-10 1万+
每个文本可以看作是又不同的主题构成了，各个主题
使用PCA和LDA进行特征选择与提取
qq_48068259的博客
11-17 1091
使用PCA和LDA进行特征选择与提取
特征提取及PCA、LDA分析
sanshao2360的博客
11-02 407
import numpy as np import pandas as pd import glob,os import re from matplotlib.colors import ListedColormap from sklearn.linear_model import LogisticRegression #需要遍历的母文件夹路径 path = r'C:\Users\74051\Desktop\电子舌\系列1' file_temp = r'C:\Users\74051\Desktop\电子舌.
数据挖掘：特征提取——PCA与LDA
AvenueCyy的博客
04-02 8194
在数据维度很高时，我们会从中提取出一些有用的特征，降低数据处理的维度，方便计算，这个过程也被叫做降维。 一般常用的降维方法有PCA和LDA。 PCA：非监督降维，降维后数据的方差尽可能的大（方差大，含有的信息量就大） LDA：有监督降维，降维后，组内（同一类别）方差小，组间（不同类别之间）方差大 主成分分析PCA PCA的直观理解 PCA的一般用途： 聚类：把复杂的多维数据转为少量数据，易...
python通过pca特征提取,lda人脸识别
最新发布
11-17
而LDA（Linear Discriminant Analysis，线性判别分析）可以帮助进行人脸识别，通过找到能最好地区分不同人脸的特征，来进行分类和识别。在Python中，也可以利用scikit-learn等库来实现LDA算法，从而进行人脸识别。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值