PCA和LDA以及之间的区别

PCA(主成分分析)是一种非监督的降维方法,通过最大化方差找到主要成分。LDA(线性判别分析)是监督降维技术,目标是最大化类间方差并最小化类内方差,常用于分类。PCA不考虑类别信息,而LDA适用于有类别标签的数据。在降维效果上,LDA更依赖于类别分布,PCA则更关注数据的方差。
摘要由CSDN通过智能技术生成

Season请您先思考:

    ·PCA与矩阵有什么关系?

    ·LDA与瑞利商有什么关系?

    ·PCA和LDA在降维世界里,谁是赢家?


一、PCA

1、思想

       主成分分析(Principal components analysis),是一种降维方法,在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用,需要我们找出数据里最主要的方面,然后来代替原始数据。比如我们希望将数据从二维降低到一维,那么这里就存在了一个映射关系,通常这个映射关系我们用矩阵表示。而我们的工作便是找到这个矩阵,这里我们要思考矩阵是用哪些向量来表示的呢?带着这个问题我们来解决二维数据降维到一维的具体问题。数据如下图。我们希望找到某一个维度方向,它可以代表这两个维度的数据。图中列了两个向量方向,U1和U2那么哪个向量可以更好的代表原始数据集呢?从直观上也可以看出,U1U2好。为什么答案是这样呢?u1


我们是这样解释的,因为我们希望降维后 ,样本点在这个向量(或者是超平面)上的投影尽可能的分开,也就是说基于最大化投影方差。为什么标准是这个样子呢?请试想,如果投影后的数据点全都集中到一个地方了,那么很多点就无法看到了,也就是说失去了很多有效的信息,如果我们将数据点尽可能的分开让大家都能看到,这样的话,信息保留的会最多。


2、数学推导

(注意:基于方差最大化挨个找出w1w2,,,且各个向量彼此正交)



评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值