浙大-机器学习-笔记-特征提取PCA

最新推荐文章于 2024-05-15 05:06:47 发布
最新推荐文章于 2024-05-15 05:06:47 发布
阅读量477 收藏 5
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39289876/article/details/118553870
版权

预备知识

协方差
拉格朗日乘子法

概念

在这里插入图片描述
PCA和AdaBoost

特征选择概念

在这里插入图片描述
问题N个维度有冗余
在某些分类作用是不明显的，甚至不相关的。
如果从N个维度中选取m个维度，m<n使识别率最高。
这就是特征选择的问题-feature selection

特征提取

把n个维度的向量构造一到m维，实现降维度
同时m维保留特征信息
在这里插入图片描述
在这里插入图片描述

PCA

一种特征提取的基本方法
构造A和B把m维度降到n维
在这里插入图片描述
自编码器对标的就是PCA，PCA训练比自编码器简单。
PCA
假设把二维变为1维，向量有一个分部，大致是一个斜的分布，PCA找一个要使方差最大的方向，再以这个方向建立坐标系，把这些点都投影到坐标系上去。稀土投影到斜线上去了。
在这里插入图片描述
在这里插入图片描述

a i a_i ai​代表投影方向
在这里插入图片描述
寻找一个a1使它yi1的方差最大
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
=0这里y的平均
这里可以推倒出
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
这里如果第2维度与第一位无限接近，则方差还是会很大，这需要避免，所以加入条件。
在这里插入图片描述
40min
在这里插入图片描述
在这里插入图片描述

雨浅听风吟
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
监督学习-特征工程-3.特征提取
01-10
特征提取在机器学习中扮演着至关重要的角色，它旨在通过数据转换或映射创建一个新特征空间，以解决原始特征的冗余、稀疏性和高维度问题。在本主题中，我们将探讨几种常见的特征提取方法，包括主成分分析（PCA）、...
人工智能 — 特征选择、特征提取、PCA
记录学习过程，欢迎讨论交流~
02-24 1539
特征提取：是通过属性间的关系，如组合不同的属性得到新的属性，这样就改变了原来的特征空间。 特征选择：是从原始特征数据集中选择出子集，是一种包含的关系，没有更改原始的特征空间。
机器学习-笔记（六）-特征提取PCA
m0_48839222的博客
07-16 4112
机器学习，特征提取，主成分分析
最全PCA-特征提取_pca特征提取(1)，腾讯面试算法题
最新发布
2401_85015332的博客
05-15 790
在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪特征选择方法可以找到最小的判别特征。然而，在实践中，许多特征互相依赖或依赖于底层未知变量。因此，一个特征可以由一个值表示多种类型信息的组合。除去这样的一个特征将删除更多的信息。
特征提取之PCA
AcceptedLin的博客
09-25 5856
PCA 算法也叫主成分分析（principal components analysis），主要是用于数据降维的。 为什么要进行数据降维？因为实际情况中我们的训练数据会存在特征过多或者是特征累赘的问题，比如： PCA算法就是用来解决这种问题的，其核心思想就是将 n 维特征映射到 k 维上（k PCA原理 关于为什么
特征提取——主成分分析(PCA)
热门推荐
左左张
05-24 4万+
特征提取——主成分分析(PCA) 2018/5/23 引言：特征提取是机器学习中很常用数据处理方式，一般都出现在实际搭建模型之前，以达到特征空间维度的变化（常见是降维操作）。特征提取是通过适当变换把已有样本的D个特征转换成d(&amp;amp;lt;D)d(&amp;amp;lt;D)d(xϵRDxϵRDx \epsilon R^D 是DDD为原始特征，变换后的ddd维新特征ξϵRdξϵRd \xi \epsilon R^...
主成分分析（PCA）应用——特征提取_人脸识别（上）
weixin_43580339的博客
06-25 4858
主成分分析（PCA）应用——特征提取/人脸识别（上） 序 我在另一篇文章《无监督学习与主成分分析（PCA）》中已经讲过关于PCA的原理，以及它的其中一个应用——降维。那么本篇文章我来说一下PCA的另一个应用——特征提取。 特征提取背后的思想是，可以找到一种数据表示，比给定的原始表示更适合分析。特征提取很有用，它的一个很好的应用实例就是最近几年很火的人脸（图像）识别。 考虑到有很多小伙伴不了解图像的处理，所以我们分成上下两篇来进行讲解。 本篇先讲解图像的基础以及python通常是如何处理图像的。 数据来源 L
foupen_v26.zip_pca-bp_特征提取BP
07-14
是学习PCA特征提取的很好的学习资料，光纤陀螺输出误差的allan方差分析，BP神经网络的整个训练过程。
scikit-learn学习笔记.pdf
06-06
- **信号成分分解（Decomposing signals in components）**：例如主成分分析（PCA）、奇异值分解（SVD）等，用于降维和特征提取。 **3. 模型选择与评估：** - **交叉验证（Cross-validation）**：评估模型在未见...
吴恩达-机器学习个人笔记完整版 pdf
10-28
《吴恩达-机器学习个人笔记完整版》是深度学习领域的经典学习资料，由著名人工智能专家吴恩达（Andrew Ng）编著。这份笔记详细涵盖了机器学习的基础理论、算法及实践应用，对于初学者和进阶者都是极好的参考资料。在...
Python-译面向机器学习的特征工程
08-11
特征工程是机器学习中的关键步骤，它涉及到将原始数据转换为更有用的、与问题相关的表示，以便机器学习算法能够更好地理解和预测模式。在“Python-译面向机器学习的特征工程”中，我们将深入探讨这一主题，特别是...
PCA特征提取方法
03-15
主分量分析PCA算法，可用于人脸识别等模式识别
特征提取：PCA特征提取-matlab开发
05-30
PCA 特征提取
数据挖掘笔记（二）——特征提取之主成分分析PCA
weixin_42524838的博客
06-20 1801
特征提取——PCA主成分分析
PCA特征提取：根据实例理解各个概念
qq_38624569的博客
09-11 5396
思想 PCA的一个重要应用就是特征提取。特征提取背后的思想是，可以找到一种数据表示，比给定的原始表示更适合于分析。下面根据PCA特征提取在脸部特征提取的一个实例上理解各个不同的概念。 实例 首先上一组人脸图像： 这些人脸图像的大小都是87x65=5655像素，从中任取一副图像，则可以用一个含有5655个元素的向量a表示，其中，每个元素的物理意义为灰度值。可以理解成每一副图像就有56...
特征工程——主成分分析(PCA)的原理解析
Ma Sizhou
03-17 2078
目录一、使用最大方差理论解析PCA原理1、原理解析：2、总结：二、最小平方误差理论解析PCA原理1、原理解析2、总结 在机器学习领域中，我们对原始数据进行特征提取，有时会得到比较高维的特征向量。在这些向量所处的高维空间中，包含很多的冗余和噪声。我们希望通过降维的方式来寻找数据内部的特性，从而提升特征表达能力，降低训练复杂度。主成分分析（Principal Components Analysis，PCA）作为降维中最经典的方法，至今已有100多年的历史，它属于一种线性、非监督、全局的降维算法，是面试中经常.
PCA转载，好文章
u012911391的专栏
07-07 532
原文http://blog.codinglabs.org/articles/pca-tutorial.html 根据上面对PCA的数学原理的解释，我们可以了解到一些PCA的能力和限制。PCA本质上是将方差最大的方向作为主要特征，并且在各个正交方向上将数据“离相关”，也就是让它们在不同正交方向上没有相关性。 因此，PCA也存在一些限制，例如它可以很好的解除线性相关，但是对于高阶相关性
PCA-特征提取
蜗牛
05-22 4万+
介绍在这篇文章中，我们讨论主成分分析（PCA）是如何工作的，以及它如何被用来作为分类问题的降维技术。在这篇文章的末尾，出于证明的目的提供了Matlab源代码。在前面的文章中，我们讨论了所谓的维数诅咒，表明在高维空间分类器倾向于过度拟合训练数据。接下来产生的问题是哪些特征应该保留，哪些应该从高维特征向量中删除。如果此特征向量的所有特征是统计独立的，可以简单地从这个向量中消除最小的判别特征。通过各种贪婪
机器学习-模式识别（3）基于PCA变换的特征提取
qq326076079的博客
06-08 2290
matlab实现PCA变换

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值