[算法5]PCA降维

最近在做文本聚类和用kd-tree关联文档,头疼于所谓的文本处理的高维诅咒,决定写一个降维算法。


从降维算法最常见的入手,which is PCA,又叫主成分分析。PCA是利用了协方差的概念,将多维度的矩阵之间维度建立一个关系,然后拉伸原有的多维度,组合成新的低维度空间,投影原有的多维矩阵到低维空间中,尽量的保证原有的各个样本间关系损失小。


步骤:

  1. 将数据建立一个M*N矩阵,每行代表一个样本,每列代表一个维度,我们的目标是降低这个维度;
  2. 每列取均值,可以得到一个1*N的矩阵,每个值是这个维度的平均值;
  3. 将原有的M*N矩阵的每一行(样本)都减去这个平均值矩阵(1*N矩阵),得到平均值矩阵M*N,意义是将原有空间中的矩阵分布样本的中心拉到空间原点;
  4. 对这个M*N的矩阵做协方差运算,得到N*N的矩阵,这个矩阵表示了N个维度间的相关性;




评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值