PCA学习----降维算法

最新推荐文章于 2022-03-11 12:45:34 发布
VIP文章 最新推荐文章于 2022-03-11 12:45:34 发布
阅读量1k 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 数据挖掘 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kidchildcsdn/article/details/104965929
版权

主成分分析法(Principal Componebt Analysis，简称PCA)是常用的一种降维方法，可用于提取数据的主要特征分量，有助于缓解维度灾难问题。PCA主要就是通过向量矩阵计算将新样本投影到低维空间中。那么PCA是如何进行降维的呢？

首先我们回顾一下线性代数中的“基”的概念。

基

我们如何确定确定一个向量的坐标，假设向量(3,2):

实际上关于向量(3,2)的定义是以我们当前的x轴和y轴的向量作为标准，在x轴的投影为3,而y轴的投影为2。这里的x轴和y轴的标准就称为基。

对于向量(3,2)来说，我们相求它在(1,0)，(0,1)这组基下的坐标的话，实际上就是求向量在(1,0)、(0,1)方向上的投影，也就是向量的内积：\begin{pmatrix} 1 & 0\\ 0 & 1 \end{pmatrix}\binom{3}{2} = \binom{3}{2}，矩阵的乘法应该是会算的。

如果我们再想求向量(3,2)这个点在(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})和(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})这组基下的坐标是多少，这个时候我们就是计算向量(3,2)在向量(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})和(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})的投影：

最低0.47元/天 解锁文章
Lavender-csdn
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于共同主成分的多元时间序列降维方法
01-14
<p>针对常见的降维方法难以有效保留多元时间序列主要特征的问题, 分析了传统主成分分析(PCA) 方法在多<br> 元时间序列降维中的局限性, 提出一种基于共同主成分分析的多元时间序列降维方法, 并通过仿真实验比较了两种<br> 方法的降维有效性和计算复杂度. 实验结果表明, 所提出的降维方法能够以相对较小的计算代价, 更有效地对多元时<br> 间序列进行降维.</p>
PCA降维算法
qq_53086801的博客
09-18 2797
PCA降维算法
pca降维算法
leaf13的博客
08-20 488
PCA主成分分析算法，是一种线性降维，将高维坐标系映射到低维坐标系中。 如何选择低维坐标系呢？ 通过协方差矩阵的特征值和特征向量，特征向量代表坐标系，特征值代表映射到新坐标的长度。 算法步骤： 输入：样本集D={x1,x2,…,xm}； 低维空间维数k 第一步：将样本集中心化。每一列的特征值减去当前列的均值 第二步：求协方差矩阵的特征值和特征向量 协方差矩阵：矩阵×矩阵的转置； 方法：np.dot...
特征工程(五): PCA 降维
datayx的文章
12-20 1530
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayx通过自动数据收集和特征生成技术，可以快速获得大量特征，但并非所有这些都有用。我们前面讨...
MATLAB实现PCA-BP主成分降维算法结合BP神经网络多输入单输出回归预测（完整源码和数据）
09-07
MATLAB实现PCA-BP主成分降维算法结合BP神经网络多输入单输出回归预测（完整源码和数据） 1.输入多个特征，输出单个变量； 2.多输入单输出回归预测； 3.多指标评价，代码质量极高；excel数据，方便替换，运行环境2018...
无监督学习PCA降维处理和K-means聚类
01-20
常见的无监督学习算法： 降维： – 主成分分析PCA降维处理 聚类： – K-means（k均值聚类） 2、主成分分析 应用PCA实现特征的降维 ·定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的...
模式识别和机器学习实战-降维算法（PCA）- Python实现 - 对半导体数据进行降维处理-人脸检测
04-11
本次资源包括pca的python代码，以及测试数据集。 降维是指采用某种映射方法，将原高维空间中的数据点映射...通过降维可以减少 冗余信息所造成的误差,提高识别的精度，或者通过降维算法来寻找数据内部的本质结构特征。
机器学习-PCA实验－上海大学
05-09
上海大学 机器学习 计算机专业课 实验 代码直接运行 1. 实验内容 通过对给定数据进行主成分分析来了解PCA算法 2. 实验目标 通过本实验掌握PCA算法
Matlab实现PCA-PLS主成分降维结合偏最小二乘回归预测（完整源码和数据)
最新发布
11-09
Matlab实现PCA-PLS主成分降维结合偏最小二乘回归预测（完整源码和数据) 1.输入多个特征，主成分降维后输入偏最小二乘进行回归； 2.算法新颖，包含评价指标MAE、R2等，出图多（误差图、帕累托图）～ 3.适用对象：...
机器学习笔记（八）：PCA降维算法
HHH_ANS的博客
11-09 1040
1 - PCA概述 主成份分析，简称为PCA，是一种非监督学习算法，经常被用来进行 数据降维 有损数据压缩 特征抽取 数据可视化 2 - PCA原理详解 通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。 由于得到协方差矩阵的特征值特征...
利用PCA降维的手工计算实例
dugudaibo的博客
12-29 1万+
本文主要根据PCA的原理对某一个具体的例子进行了手工计算，并且讨论了对含义一样但是表示不一样的矩阵在通过MATLAB求解协方差矩阵的过程中又怎样的差别。
PCA降维算法的原理及应用
热门推荐
CJW的博客
02-26 1万+
PCA降维算法的原理 1.什么是PCA降维算法？ PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA 主要是通过线性变换将我们拿到的具有高维度的原始数据在数据预处理阶段（数据清洗）进行降维，也可以说是高维数据在低维空间上的投影。 降维当然意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。 ...
PCA（主成分分析）降维方法
qq_43363657的博客
01-09 1万+
一、降维 1）首先我们可以将数据以矩阵的形式表示出来，例如Xmxn，即m个数据样本，每个数据样本有n维度的特征（这个特征就是数字，n维特征就是n个数字表示了这个样本）。降维的目的就是减小n，比如降低维度到k（k<n）。 2）在二维上举例：我们用我们常用的坐标系，即（1，0）、（0，1）为基的坐标系，选取一组数据[ (-2，-2），（-1，-1）、（0，0）、（1，1）、（2，2）]，我们发现这组数据在坐标系上都处于一条直线上，就是y=x上。此时他的维度是二维的，但是我们把X、Y坐标轴逆时针旋转45度
高光谱图像pca降维_PCA-图像降维重构
weixin_42525264的博客
01-27 1642
1)去平均值：(即去中心化)。2) 计算协方差矩阵。3) 计算协方差矩阵的特征值与特征向量。4) 对特征值从大到小排序，选择其中最大的K个。然后将其对应的k个特征向量分别作为行向量组成新的特征向量矩阵。5) 利用新的特征向量矩阵重构原始图像。import numpy as npimport cv2 as cvfrom sklearn import decomposition# 数据中心化def c...
机器学习（六）——PCA降维处理
爱吃串串的瘦子的博客
10-20 2319
一、PCA主成分分析原理 1.降维的作用：（为什么会有这些作用？）  （1）降低时间的复杂度和空间复杂度  （2）节省了提取不必要特征的开销  （3）去掉数据集中夹杂的噪音  （4）较简单的模型在小数据集上有更强的鲁棒性  （5）当数据能有较少的特征进行解释，我们可以更好地解释数据，是的我们可以提取知识  （6）实现数据的可视化  2、降维的目的  用来进行特征选择和特征提取。  ①特征选择：选...
降维算法（PCA）
LanboCSDN的博客
10-30 1万+
降维方法1、主成分分析（PCA） 在PCA中，数据从原来的坐标系转换到新的坐标系，新坐标系的选择是由数据本身决定的。第一个新坐标轴选择的是原始数据中方差最大的方向，第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。该过程一直重复，重复次数为原始数据中特征的数目。我们会发现，大部分方差都包含在最前面的几个新坐标轴中。因此，我们可以忽略余下的坐标轴，即对数据进行降维处理。2、因子分析（Fact
图解机器学习算法(14) | PCA降维算法详解（机器学习通关指南·完结）
ShowMeAI研究中心
03-11 1万+
PCA（主成分分析）可以在对数据完成降维「压缩」的同时，尽量减少信息损失。本文讲解PCA算法的原理、步骤与Python代码实践，并讲解PCA的必要数学基础知识——基变换、方差、协方差等。
T-SNE 降维算法
09-06
T-SNE（t-distributed stochastic neighbor embedding）是一种机器学习算法，用于将高维数据降维至2维或3维，并进行可视化。它的基本思想是，如果在高维空间中两个数据点相似，那么在降维后的低维空间中它们应该离得很近。 T-SNE是由Laurens van der Maaten和Geoffrey Hinton在2008年提出的，它是SNE算法的改进版本。相对于SNE算法，T-SNE进行了几个改进，包括将SNE改为对称SNE以提高计算效率，并在低维空间中使用t分布来解决拥挤问题并优化SNE算法在关注局部特征而忽略全局特征方面的问题。实际上，T-SNE很少被用于降维，其主要应用领域是数据可视化。 尽管T-SNE在可视化方面效果好于SNE，但由于一些限制，它在实际应用中并不常用于降维。首先，当我们发现数据需要降维时，一般会使用线性降维算法如PCA，而不是非线性降维算法。其次，T-SNE通常将数据降到2维或3维进行可视化，但在降维时往往需要更高的维度，例如20维，而T-SNE算法使用自由度为1的t分布可能无法得到较好的效果。此外，T-SNE算法的计算复杂度较高，其目标函数是非凸的，可能得到局部最优解。 总的来说，T-SNE是一种适用于高维数据可视化的非线性降维算法，但在实际应用中需要考虑其计算复杂度和局限性。<span class="em">1</span><span class="em">2</span><span class="em">3</span><span class="em">4</span> #### 引用[.reference_title] - *1* *2* *3* [t-SNE算法](https://blog.csdn.net/sinat_20177327/article/details/80298645)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *4* [Machine Learning ——降维方法：t-SNE](https://blog.csdn.net/zzzzhy/article/details/80772833)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值