【机器学习线性代数】13 提取主成分：矩阵的特征值分解

最新推荐文章于 2021-11-17 14:18:21 发布
最新推荐文章于 2021-11-17 14:18:21 发布
阅读量3.6k 收藏 14
点赞数 16
分类专栏： 机器学习中的数学：线性代数 机器学习中的数学（全集） 文章标签： 机器学习 人工智能 数据分析 python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43716250/article/details/109706074
版权
本文介绍了如何通过主成分分析（PCA）进行数据降维，重点讲解了PCA的思路和详细步骤。从期望与方差、协方差与协方差矩阵开始，解释了数据降维的需求背景和目标。通过实例展示了PCA如何消除特征之间的相关性，构造彼此无关的新特征，以及如何选择和取舍新特征。文章强调了PCA过程中信息损失的衡量和主成分的贡献率计算，最后讨论了PCA在多个特征降维场景下的推广。
摘要由CSDN通过智能技术生成

1.期望与方差

看到这个小标题，读者也许会想，这里不是在讲线性代数么，怎么感觉像是误入了概率统计的课堂？

这里我专门说明一下，在这一讲里，我们的最终目标是分析如何提取数据的主成分，如何对手头的数据进行降维，以便后续的进一步分析。往往问题的切入点就是数据各个维度之间的关系以及数据的整体分布。因此，我们有必要先花点功夫，来梳理一下如何对数据的整体分布情况进行描述。

首先大家知道，期望衡量的是一组变量 X X X取值分布的平均值，我们一般记作：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
石 溪
关注
专栏目录
订阅专栏
matlab矩阵特征值分解,矩阵特征值分解与奇异值分解含义解析及应用
weixin_30220707的博客
03-17 3196
原文在此，仅仅将原文的Matlab代码改为Python3版本。特征值与特征向量的几何意义矩阵的乘法是什么，别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”，还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行数才能相乘”，然而，这里却会和你说——那都是表象。矩阵乘法真正的含义是变换，我们学《线性代数》一开始就学行变换列变换，那才是线代的核心——别会了点猫腻就忘了本——对，矩阵乘法：就是线性变...
卡尔曼特征矩阵提取
01-31
文件中只有关于txt数据的读取与存储，以及处理数据获得A/H/W/Q特征矩阵，并且通过协方差矩阵迭代计算卡尔曼预测值。
第13讲 提取主成分：矩阵的特征值分解
GitChat
09-21 325
矩阵分解之：主成分分析（PCA）
qfikh的博客
01-16 1万+
本文是在参考主成分分析（PCA）原理详解的基础上 添加一些自己的理解。 1.相关背景 在许多领域的研究与应用中，通常需要对含有多个变量的数据进行观测，收集大量数据后进行分析寻找规律。多变量大数据集无疑会为研究和应用提供丰富的信息，但是也在一定程度上增加了数据采集的工作量。更重要的是在很多情形下，许多变量之间可能存在相关性，从而增加了问题分析的复杂性。如果分别对每个指标进行分析，分析往往是孤立...
【图像处理】海森矩阵（Hessian Matrix）及一个用例（图像增强）
不用先生的博客
04-01 3万+
【fishing-pan：https://blog.csdn.net/u013921430转载请注明出处】 前言 Hessian Matrix(海森矩阵)在图像处理中有广泛的应用，比如边缘检测、特征点检测等。而海森矩阵本身也包含了大量的数学知识，例如泰勒展开、多元函数求导、矩阵、特征值等。写这篇博客的目的，就是想从原理和实现上讲一讲Hessian Matrix，肯定有不足的...
AI人工智能课程 机器学习算法班第2讲：线性代数与矩阵论 共62页.pdf
最新发布
07-14
### AI人工智能课程 机器学习算法班第2讲：线性代数与矩阵论 #### 课程概述 在《AI人工智能课程 机器学习算法班》的第2讲中，重点介绍了线性代数与矩阵论的基础知识及其在机器学习中的应用。这部分内容共包含了62...
线性代数解析：矩阵变换与特征值特征向量
在实际应用中，例如在数据分析和机器学习模型中，特征值和特征向量经常用于主成分分析（PCA）、奇异值分解（SVD）等技术，以便提取数据的主要特征或降低数据的维度。 这篇线性代数笔记通过几何解释深入浅出地解析了...
矩阵的特征：主成分分析（PCA）
人邮异步社区
06-20 6246
我们先从主成分分析PCA开始看。在解释这个方法之前，我们先快速回顾一下什么是特征的降维。在机器学习领域中，我们要进行大量的特征工程，将物品的特征转换成计算机所能处理的各种数据。通常，如果我们增加物品的特征，就有可能提升机器学习的效果。可是，随着特征数量不断增加，特征向量的维数也会不断升高。这不仅会加大机器学习的难度，还会形成过拟合，影响最终的准确度。针对这种情形，我们需要过滤掉一些不重要的特征，或者是将某些相关的特征合并起来，最终达到在降低特征维数的同时，尽量保留原始数据所包含的信息。了解了这些背景信息，我
矩阵特征值和特征向量的求取
hxlove123456的博客
10-11 5万+
最近项目中有一个模块需要求矩阵的最大特征值和特征值对应的特征向量，无奈，又重新将以前学习的这方面的知识重新温习了一遍，感觉还是当时学的不够深，所以谢谢感悟，顺便对知识点进行一个总结。 首先特征值和特征向量的求解根据项目的需求或者是矩阵的具体形式，主要可以分成如下三种形式： 自己只需要获得矩阵的最大特征值和特征值所对应的特征向量 需要求取矩阵的所有特征值 需要求取特征值和特征向量的矩阵为实对...
特征提取(二)Hessian矩阵
远方传来风铃
03-15 3597
黑塞矩阵（Hessian Matrix），是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。黑塞矩阵常用于牛顿法解决优化问题，利用黑塞矩阵可判定多元函数的极值问题。在工程实际问题的优化设计中，所列的目标函数往往很复杂，为了使问题简化，常常将目标函数在某点邻域展开成泰勒多项式来逼近原函数，此时函数在某点泰勒展开式的矩阵形式中会涉及到黑塞矩阵。 Hessian Matrix，它有着广泛的应...
特征提取方法
shushi6969的博客
04-18 5万+
潜在语义索引潜在语义索引（Latent Semantic Indexing,以下简称LSI），也叫Latent Semantic Analysis ,简称LSA。本文中称为LSI。LSI是一种主题模型，他是利用SVD奇异值分解方法来获得文本的主题的。奇异值分解详见点击打开链接。LSI方法可以用作特征降维、文本相似度计算等。优缺点：（1）SVD是非常耗时的，主题模型非负矩阵分解（NMF）可以很好的解...
Hessian矩阵提取特征点原理及其Matlab实现
鹊踏枝-码农的专栏
03-08 1万+
Speeded Up Robust Features（SURF，加速稳健特征），是一种稳健的局部特征点检测和描述算法。SURF算法就涉及了Hessian矩阵提取特征点原理，如下： Hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。对一个图像f(x,y)，其Hessian矩阵如下： 在构造Hessian矩阵前需要对图像进行高斯滤波，去除噪声引起的像素突变，
2020-11-29
qq_43559652的博客
11-29 158
线性代数 矩阵乘积 矩阵的內积操作，如果是一维数组的话就是內积，多维数组的话就是乘积操作 x=np.random.randint(1,11,[5,2]) y=np.random.randint(7,17,[2,5]) z=np.dot(x,y) print(z) #[[111 144 151 104 125] #[ 51 72 77 46 61] # [131 156 160 127 139] #[103 132 138 97 115] #[ 27 36 38 25 31]]
SPSS操作（五）：主成分分析
热门推荐
My_daily_life的博客
11-17 7万+
1、将数据导入spss，并定义变量，将铁路运输业职工人数(人)、城市公共交通业职工人数(人)、邮政业职工人数(人)、电信和其他信息传输服务业职工人数(人)、客运量(万人)、接待入境旅游人数(万人次)、普通高校师生比（%）、星级住宿业营业额(亿元)分别定义为x1,x2,x3,x4,x5,x6,x7,x8 如图： 2、对数据进行标准化处理 ①选择【分析】—【描述统计】—【描述】 ②添加要标准化的变量，勾选【将标准化值另存为变量(Z)】，再点确定 ③返回原来的数据窗口就可以看见标准化后的变量了 3、SPS
marlab中主成分得分怎么求_SPSS操作详解 | 主成分分析PCA(下)
weixin_39935257的博客
11-21 571
大家好，我是菜鸟君。今天继续解释主成分分析。上篇里，经过SPSS的一系列操作步骤，结果已经出来了，如下图所示。上篇链接：SPSS操作详解 | 主成分分析PCA(上)那么，怎样进行主成分分析的结果解释呢？接下来，让我们来进行主成分分析的结果解读：线性相关关系在变量比较多的时候，相关矩阵表非常的大。我这个量表10道题，相关矩阵就是10*10。篇幅有限，在这里我就只截图一部分了哦。这个表主要看...
特征提取算法--Surf
chuhang_zhqr的博客
03-16 1万+
本文参考了 http://blog.csdn.net/a784763307/article/details/17289251 http://blog.csdn.net/yujiflying/article/details/8203511 http://blog.csdn.net/cxp2205455256/article/details/41311013 SURF意指 加速的具有鲁棒性的特征
利用灰度共生矩阵提取图像纹理特征
hscoder的博客
07-04 1万+
1. 灰度共生矩阵概念 灰度共生矩阵定义为像素对的联合概率分布，是一个对称矩阵，它不仅反映图像灰度在相邻的方向、相邻间隔、变化幅度的综合信息，但也反映了相同的灰度级像素之间的位置分布特征，是计算纹理特征的基础。在图像中任意取一点(x,y)及偏离它的一点(x+a,y+b)(其中，a、b为整数，人为定义)构成点对。设该点对的灰度值为(f1,f2)，再令点(x,y)在整幅图像上移动，则会得到不同的(f
特征提取——主成分分析(PCA)
左左张
05-24 4万+
特征提取——主成分分析(PCA) 2018/5/23 引言：特征提取是机器学习中很常用数据处理方式，一般都出现在实际搭建模型之前，以达到特征空间维度的变化（常见是降维操作）。特征提取是通过适当变换把已有样本的D个特征转换成d(<D)d(<D)d(xϵRDxϵRDx \epsilon R^D 是DDD为原始特征，变换后的ddd维新特征ξϵRdξϵRd \xi \epsilon R^...
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

石 溪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值