【一起入门MachineLearning】中科院机器学习第*课-PCA主成分分析

最新推荐文章于 2024-09-07 12:39:07 发布
最新推荐文章于 2024-09-07 12:39:07 发布
阅读量1.9k 收藏 20
点赞数 12
分类专栏： # 机器学习 文章标签： 线性代数 机器学习 矩阵
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39328436/article/details/122136230
版权

专栏介绍：本栏目为 “2021秋季中国科学院大学周晓飞老师的机器学习” 课程记录，不仅仅是课程笔记噢～ 如果感兴趣的话，就和我一起入门Machine Learning吧🥰

目录

如何理解PCA

在这里插入图片描述

PCA是一种降维方法，我们来看下面这个例子：

现在有假设4个2维度样本，每一维度都表示一个属性，比如说（身高，体重）
（4,2）（2,1）（5,6）（1,2）

我们可以得到一个样本矩阵，并将样本矩阵按照行表示：

在这里插入图片描述
现在我们要来思考这样一个问题：
有必要用一个两行四列的数据来描述这些样本吗？

  • 其实这个问题我们知道答案的，在学习线性代数时，我们就知道了有极大线性无关组，有相似等等，简而言之就是样本矩阵X中的一些向量是可以由极大线性无关组表示的，我们可以通过矩阵变换可以得到基向量，基向量的数目小于原本矩阵中的向量数目，那这不就是降维吗？经过降维之后样本矩阵X被表示为了Y，X与Y的关系是Y=PX，是不是隐隐约约感觉到了降维与矩阵变换（特征值，特征向量…）有关呢？

继续思考这样一个问题：

在数据降维之后，如何才能尽可能多地保留样本信息？

  • 首先，留下来的样本一定要尽可能松散，彼此有足够大的区分度，也就是方差要尽可能大。其次，留下来的样本一定要有存在的意义，不可以被别的向量表示，也就是彼此不相关，进一步可以推出协方差为0。

  • 总结一下：原始样本矩阵X，降维之后的样本矩阵Y，Y=PX，且Y中的各个样本方差要尽可能大，协方差要尽可能为0。

那PCA不就是相似对角化吗？上来直接求特征值特征向量不就完事儿了吗? 但是事实上好像不是这样的😞

PCA求解步骤

  1. 将原始数据按列组成n行m列矩阵X
  2. 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值
  3. 求出协方差矩阵：m为列数
    在这里插入图片描述
  4. 求出协方差矩阵的特征值及对应的特征向量
  5. 将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P
  6. Y=PX即为降维到k维后的数据
    在这里插入图片描述

为什么要进行零均值化？
为什么样本协方差矩阵与X乘X的转置有关系？
为什么是求协方差矩阵的特征值特征向量？

这完全是数学家们的小巧思啊！一起来看一下吧~

为什么要进行零均值化？

将X的每一行进行零均值化，即减去这一行的均值后，重新对这样一行求均值，会发现均值为0，这会给后面的计算带来很美妙的结论。
在这里插入图片描述

可是不禁会想：给每一行减一个数不会给样本带来偏差吗？实际上是不会的，把所有人的身高都减一个值，只相当给样本进行了平移操作而已。

为什么样本协方差矩阵与X乘X的转置有关系？

我们继续来看，1/(n-1)倍的X乘X转置有什么小秘密：
在这里插入图片描述
看到最后这个计算结果有没有发现什么呢？在零均值化后A和B的均值都是0，此处再回忆一下样本方差与样本协方差之间的公式：
在这里插入图片描述

样本协方差和样本方差都是除n-1而不是n，这是为了保证无偏估计，但是当n足够大时，除n-1还是n是没有任何区别的，并且也不会对PCA的计算带来影响，后面我会解释为什么没有影响。

把均值等于0 带入上一个矩阵，会这不就是一个X的协方差矩阵吗？：
在这里插入图片描述
完美地解释了样本矩阵X的协方差为什么与X转置有关系。

为什么是求协方差矩阵的特征值特征向量？

继续回答第三个问题：
在上文的描述中我们已经明确：
Y=PX，Y为降维之后的样本矩阵，对于这个降维结果Y，我们希望他方差尽可能大，协方差为0。
在这里插入图片描述

接下来就可以推导出为什么是对协方差矩阵求特征值了
在这里插入图片描述
也就是说✨✨

  • 我们需要对A矩阵（也就是X的协方差矩阵，它是一个实对称矩阵）进行相似对角化，P矩阵由A的特征向量组成（需要单位化，P是一个正交矩阵），对角化后的结果就是Q，它也是Y的协方差矩阵，对角线上是矩阵A的特征值（也就是方差），其他地方都为0（即协方差=0）由于方差应该尽可能大，所以特征值必须要求从大到小排列。

  • 最后我们解释为什么用n或者n-1不会影响PCA的压缩结果，这是因为在矩阵前乘一个常数是不会影响特征向量的，也就是P不会变，投影结果当然也不会变。
    在这里插入图片描述

期末题库习题：
【一起入门MachineLearning】中科院机器学习-期末题库-【计算题1+多选题25】

vector<>
关注
专栏目录
机器学习-27-机器学习入门科普文章
qq_20466211的博客
10-12 443
主要对机器学习进行科普,包括机器学习的定义、范围、方法,包括机器学习的研究领域：模式识别、计算机视觉、语音识别、自然语言处理、统计学习和数据挖掘。
机器学习之PCA:主成分分析（二、算法案例）
梅菜扣肉
07-11 1105
目录 一、降维实例 二、鸢尾花数据集降维 一、降维实例 data数据下载，提取码：fobw 导入库、载入数据并可视化： import numpy as np import matplotlib.pyplot as plt data = np.genfromtxt("data.csv", delimiter=",") x_data = data[:,0] y_data = data[:,1] plt.scatter(x_data,y_data) plt.show() 画出的图如下： ..
主成分分析(PCA)原理及推导
热门推荐
学无常师，负笈不远险阻
12-30 8万+
在数据挖掘或者图像处理等领域经常会用到主成分分析，这样做的好处是使要分析的数据的维度降低了，但是数据的主要信息还能保留下来，并且，这些变换后的维两两不相关！至于为什么？那就接着往下看。在本文中，将会很详细的解答这些问题：PCA、SVD、特征值、奇异值、特征向量这些关键词是怎么联系到一起的？又是如何在一个矩阵上体现出来？它们如何决定着一个矩阵的性质？能不能用一种直观又容易理解的方式描述出来？
数学建模笔记—— 主成分分析（PCA)
最新发布
lbm666666的博客
09-07 1895
主成分分析是对于原先提出的所有变量,将重复的变量(关系紧密的变量)删去多余,建立尽可能少的新变量,使得这些新变量是两两不相关的,且这些新变量在反映课题的信息方面尽可能保持原有的信息。因此,人们会很自然地想到,能否在相关分析的基础上,用较少的新变量代替原来较多的旧变量,而且使这些较少的新变量尽可能多地保留原来变量所反映的信息?我们可以把多种指标中综合成几个少数的综合指标,做为分类的型号,将十几项指标综合成3项指标,一项是反映长度的指标,一项是反映胖瘦的指标,一项是反映特殊体型的指标。怎么找到新的维度呢?
机器学习（4）：PCA主成分分析法实例
小蚯蚓的博客
01-13 2533
一、简介 1.Principal Component Analysis 2.用途：降维中最常用的一种手段，可用于数据压缩、提取重要信息等领域。 3.目标：基于方差提取最有价值的信息 二、PCA求解原理 1.优化目标 （1）第一个目标：将一组N维向量降为K维（K大于0，小于N），目标是选择K个单位（模为1）正交基，使原始数据变换到这组基上后，各字段两两间协方差为0 （2）第二个目标：每...
#机器学习--实例--主成分分析
投笔丶从戎的博客
08-08 399
主成分分析（principal components analysis，PCA）是一个简单的机器学习算法，能够在损失精度尽可能少的前提下，对数据进行有损压缩。
python主成分分析_Python机器学习笔记：主成分分析（PCA）算法
weixin_39570530的博客
11-28 1675
一：引入问题首先看一个表格，下表是某些学生的语文，数学，物理，化学成绩统计：首先，假设这些科目成绩不相关，也就是说某一科目考多少分与其他科目没有关系，那么如何判断三个学生的优秀程度呢？首先我们一眼就能看出来，数学，物理，化学这三门课的成绩构成了这组数据的主成分（很显然，数学作为第一主成分，因为数据成绩拉的最开）。那么为什么我们能一眼看出来呢？当然是我们的坐标轴选对了！！下面，我们继续看一个表格，下...
机器学习（Machine Learning）入门科普
vast_w
05-18 4777
=======================国外==================== Machine Learning 大家(1)：M. I. Jordan (http://www.cs.berkeley.edu/~jordan/)     在我的眼里，M Jordan无疑是武林中的泰山北斗。他师出MIT，现在在berkeley坐镇一方  ，在附近的两所名校（加stanford）中
机器学习该怎么入门？
weixin_48649532的博客
07-25 2302
1、误认为学习机器学习，要先补齐所有的前期知识 误认为学习机器学习，要先补好全部的数学基础，然后在学习python，最后学习机器学习的算法。 你可能听很多人说过，机器人学习需要很强的数学基础，然后你就疯狂地开始补数学基础，你开始学习线性代数、概率论等知识。 你的规划是7月份补数学基础，8月份学习Python,9月份开始正式学习机器学习。抱着严谨的态度，你要把数学知识都弄懂了才进行下一个环节。最后你的机器学习，始于数学而终于数学。以这样的心态学习下去，机器学习从入门到放弃，你可能不需要一个月。 学习机器学习，
机器学习(Machine Learning)&深度学习(Deep Learning)资料
weixin_30756499的博客
07-07 1万+
##机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1)---#####注:机器学习资料[篇目一](https://github.com/ty4z2008/Qix/blob/master/dl.md)共500条,[篇目二](https://github.com/ty4z2008/Qix/blob/master/dl2.md)开始更新...
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总
ZhangPY的专栏
02-28 6715
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Networks: An Overview》 介绍:这是瑞士人工智能实验室Jurgen Schmidhuber写的最
PCA主成分分析实战案例
weixin_43694742的博客
12-22 2167
遇到的问题： X = df.loc[:,0:4].values#提取第0-3列 y = df.loc[:,4].values #提取第4列 报错： TypeError: cannot do slice indexing on Index with these indexers [0] of type int 修改代码为： X = df.iloc[:,0:4].values#提取第0-3列 y = df.iloc[:,4].values #提取第4列 python代码实现PCA降维处理： 伪代码： 1.
机器学习案例练习——主成分分析
m0_53294028的博客
12-30 462
本次实验完成了python主成分分析的实现，涉及了较多numpy库中一些函数的使用以及pandas读取文件的内容。主成分分析的主要目的是为了降维，如上题所示，通过降维将8个变量降成了4个变量，他们包含了原始变量的大部分信息。对该数据集利用主成分分析属性选择方法，为此包含6个属性值209个样本的数据集进行属性提取（用原始属性的线性组合表达），累积贡献率设为90%。了解主成分分析算法的基本思想、实现步骤，并用代码实现。
PCA主成成分分析例题详解
Infinity_and_beyond的博客
05-07 3983
主成分分析是一种降维算法，它能将多个指标转换为少数几个主成分，这些主成分是原始变量的线性组合，且彼此之间互不相关，其能反映出原始数据的大部分信息。
主成分分析（PCA）算法的简单推导和实例
weixin_37824397的博客
03-10 2万+
问题1：为什么要降维？    我们在处理实际问题的时候，进行特征提取过程中，提取的特征维数太多经常会导致特征匹配时过于复杂，消耗计算资源。   问题2：降维的方法有哪些？ 特征降维一般分为两类：特征提取和特征抽取。特征选择就是简单的从高纬度的特征中选择其中一个子集来作为新的特征。特征抽取是将高纬度的特征经过一些函数映射到低纬度，将其作为新的特征。 我们常见的分析方法包括有因子分析和主成分
算法模型 | 主成成分分析PCA+实例详解
Yizkkkkang的博客
08-30 2989
统计学实例+压缩数据实例
主成分分析练习（PCA）
yangmaoda的博客
10-07 386
主成分分析练习（PCA） 原始数据： 程序： import numpy as np def pca(data): row = np.size(data, 0) #行 col = np.size(data, 1) #列 avg = np.zeros([1, col]) for i in range(col): avg[0, i] = np.mean(data[:, i]) for i in range(col): data[:, i]
机器学习基础-主成分分析PCA-16
gemoumou的python学习实记
02-19 299
主成分分析PCA(Principal Component Analysis) PCA-简单例子 import numpy as np import matplotlib.pyplot as plt # 载入数据 data = np.genfromtxt("data.csv", delimiter=",") x_data = data[:,0] y_data = data[:,1] plt.scatter(x_data,y_data) plt.show() print(x_data
吴恩达机器学习课后习题（PCA算法）
qq_42333474的博客
08-20 1318
一、PCA算法 PCA算法为主成分分析算法，在数据集中找到“主成分”，可以用于压缩数据维度。 二、实现PCA算法 导入数据包。 import numpy as np import matplotlib.pyplot as plt from scipy.io import loadmat 导入一个二维数据，并绘制散点图。 data = loadmat("E:\\Pycharm\\workspace\\ex_Andrew\\ex7_Andrew\\ex7data1.mat") X = data['X'] #X
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

vector<>

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值