《西瓜书》笔记10：降维与度量学习-PCA（二）

最新推荐文章于 2024-08-11 23:49:39 发布
最新推荐文章于 2024-08-11 23:49:39 发布
阅读量2.4k 收藏 4
点赞数
分类专栏： 机器学习笔记 文章标签： 降维 PCA 主成分分析 MATLAB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niaolianjiulin/article/details/77159633
版权
本文详细介绍了PCA（主成分分析）的概念、优化目标及其两种等价推导方式，强调了降维的重要性，如提高样本点的可分性和去除噪声。PCA算法包括数据的中心化、特征值分解或奇异值分解。在MATLAB中，PCA的实现可以通过提取COEFF矩阵的前几列来完成降维操作。
摘要由CSDN通过智能技术生成

3 主成分分析

Principal Component Analysis，PCA。最常用的降维方法。

3.1 怎么来的？

正交属性空间中，如何用一个超平面，对所有样本进行恰当表达？

  • 最近重构性：样本点到该平面的距离足够近。要表达就要比较相似，距离近。
  • 最大可分性：样本点在平面上的投影尽可能分开。点与点足够区分。

基于这两个性质，可推导出主成分分析的2种等价推导。

假定数据样本进行了中心化（每个值减去均值）。

从最近重构性出发，考虑整个训练集中，原样本点与基于投影重构的样本点之间的距离，对其距离最小化，则可得到：

这里写图片描述

这就是主成分分析的优化目标。

从最大可分性出发，样本点在新空间中超平面内上的投影是 WTxi ，若所有样本点的投影能尽可能分开，则应该使投影后的样本点的方差最大化。

而投影后点的方差是 ∑i

最低0.47元/天 解锁文章
鸟恋旧林XD
关注
专栏目录
西瓜书+实战+吴恩达机器学习（十八）降维（主成分分析 PCA）
今天你学习了吗
03-02 1288
文章目录0. 前言1. 主成分分析PCA 如果这篇文章对你有一点小小的帮助，请给个关注，点个赞喔，我会非常开心的~ 0. 前言 维数灾难：在高维情形下出现的数据样本稀疏、距离计算困难等问题。 缓解维数灾难的方法是降维。 降维的好处： 舍弃部分信息后能使得样本的采样密度增大 当数据受到噪声影响时，舍弃的无关信息往往与噪声有关 1. 主成分分析PCA 主成分分析（Principal Compo...
西瓜书课后题——第十章（降维与度量学习） （ KNN、PCA ）
qq_37691909的博客
05-10 3177
此处只记录编程题目10.1和10.6，其余题目请参考：https://blog.csdn.net/icefire_tyh/article/details/52243773 10.1 KNN分类 理论比较简单，书上也说的比较清晰，所以直接给出代码： import numpy as np import pandas as pd import heapq import matplotlib.p...
西瓜书：PCA数学推导
weixin_45963617的博客
07-18 580
一、PCA降维过程 只需对协方差矩阵X*transpose(X)进行特征值分解，将求得的特征值排序：λ1>=λ2>=…>=λd，再取前d’个特征值对应的特征向量构成W=（w1,w2,…,wd’）,这就是PCA的解。 西瓜书中的PCA算法如下： 需要说明的是，算法中的向量为列向量。假设原始维度为d，样本数目为m，因此特征矩阵X的维度为d×m，W的维度为d×d’。降维的时候，transpose(W)*X得到 d’×m的矩阵，它的每一列，即为降维后的向量。 二、PCA优化目标与求解 1.PCA
主成分分析(PCA)
最新发布
blinkyou001的博客
08-11 3914
本文讲解了主成分分析（PCA）的基本原理，并利用python进行了实例演示。
西瓜书-PCA
weixin_34235371的博客
04-30 489
PCA和线性回归的区别： 左边是线性回归，右边是PCA，PCA算的是投影误差的平方 引用 www.zhihu.com/question/36… t-SNE vs PCA 至于t-SNE为啥牛， 这里给两个对比图片， 然后我们再回到PCA，以后有机会再扩展！ t-SNE vs PCA： 可以看到线性特征表达的局限性 t-SNE 优于 已有非线性特征表达 Isomap, LLE 和 Sammon...
西瓜书学习笔记——主成分分析（公式推导+举例应用）
Nie同学的博客
02-03 1767
本篇博客介绍了主成分分析（PCA）算法，以及其在降维问题中的应用。PCA旨在通过线性变换找到最能代表原始数据的主成分，同时保留数据的重要信息。通过特征值分解，我们推导了PCA的优化目标，并使用重构阈值确定最小降维维度。最后，通过实验分析展示了PCA在一个相关数据集上的降维效果。
西瓜书学习笔记——第十章：降维与度量学习
Andrewings
07-11 2104
10. 降维与度量学习10.1 k近邻学习10.2 低维嵌入经典降维方法：多维缩放(MDS)10.3 主成分分析 10.1 k近邻学习 k近邻学习（knn）是一种监督学习算法，它直接使用测试样本和训练样本，没有显示的训练过程，工作机制如下：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个邻居的信息来进行预测。通常，对于不同类型的任务，使用的预测方法不同： 分类任...
【西瓜书笔记】补充4：降维与特征选择
weixin_39236489的博客
02-21 903
1.维度灾难与数据维度 维度灾难的理解 数据特征维度非常多的时候引起的灾难。假设在每一个特征空间中，取值范围都是[0, 1]。如果一个样本能够cover住0.1×0.1×0.10.1\times0.1\times0.10.1×0.1×0.1小空间中的所有其他样本，也就是这个样本能够作为其他所有在这个小空间中样本的预测值（KNN近邻思想）。那么如果有3个特征维度，就需要10310^{3}103个这样的小立方空间去cover所有的空间。如果有4个特征维度， 就需要10410^{4}104个这样的小立方空间去co
西瓜书学习笔记-10 降维与度量学习
weixin_41872340的博客
06-28 430
chapter 10 降维与度量学习 10.1 k近邻学习 k近邻（k nearest neighbor，knn）学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最接近的k个训练样本，然后基于这k个邻居的信息对该测试样本进行预测。 对于分类任务，还是采用“投票法”决定测试样本的标记。 在回归任务中，使用的是“平均法”，即将这k个邻居的平均值作为预测结...
《机器学习》周志华(西瓜书)学习笔记 第十章 降维与度量学习
sdm12345的博客
07-10 2922
机器学习 总目录 第十章 降维与度量学习 10.1 K近邻学习 k近邻学习是一种监督学习算法，在给定的训练样本集中，基于某种距离度量，找出与训练集最靠近的kkk个训练样本，然后基于这k个邻居信息来进行预测。 投票法：通常在分类任务中使用，判别方法是选择这kk个样本中出现最多的类别标记作为预测结果。 平均法：通常在回归任务中使用，判别方法是将这kk个样本的实值输出标记的平均值最为预测结果。 加权平...
学习笔记4：主成分分析（PCA）
Softdiamonds的博客
04-26 246
算法：
西瓜书_chapter10_降维与度量学习
lirt15的博客
06-29 397
10.1 k近邻学习(kNN) 给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后根据这k个邻居的信息进行预测 与前边的学习方法相比，kNN没有显式的训练过程，只有拿到测试样本以后才进行处理，我们将其称为懒惰学习(lazy learning)，而哪些再训练阶段就对样本进行处理的方法叫做急切学习(eager learning) 给定测试样本xxx，若其最近邻样本为zzz，则最近...
PCA主成分分析最清晰推导证明过程！
铁血军的小博客
05-04 8525
写作目的 最近看PCA，觉得各个机器学习书上的证明都不够详细，总感觉看推导的过程中有知识断层的情况，最近又重新梳理了一遍矩阵分析的知识，终于把整个过程都推导了清楚。 知识预备 主成分分析证明 意义与目的 证明过程 结论 所以对X的降维过程，就是要求X与X转置相乘矩阵的特征值与特征值对应的特征向量对应的正交矩阵。 PCA过程 这是西瓜书上的PCA过程，其实通过上面的推导我们也能很自然的得出...
传统的线性降维方法效果不佳。_机器学习西瓜书简明笔记（11）降维与度量学习...
weixin_39835792的博客
11-24 567
上篇主要介绍了几种常用的聚类算法，首先从距离度量与性能评估出发，列举了常见的距离计算公式与聚类评价指标，接着分别讨论了K-Means、LVQ、高斯混合聚类、密度聚类以及层次聚类算法。K-Means与LVQ都试图以类簇中心作为原型指导聚类，其中K-Means通过EM算法不断迭代直至收敛，LVQ使用真实类标辅助聚类；高斯混合聚类采用高斯分布来描述类簇原型；密度聚类则是将一个核心对象所有密度可达的样本形...
机器学习算法（五）：主成分分析PCA
weixin_39910711的博客
09-02 5361
目录 1 PCA简介 2 PCA实例 3PCA推导 3.1 最大方差理论与最大可分性 3.1.1最大方差理论 3.1.2最大可分性 3.2 最小平方误差理论与最近重构性 3.2.1最小平方误差理论 3.2.2最近重构性 4 PCA算法 5PCA理论意义 6 总结与讨论 1 PCA简介 在许多领域的研究与应用中，往往需要对反映事物的多个变量进...
机器学习（西瓜书）注解：第10章 降维与度量学习
彬彬有礼的专栏
09-22 2191
题目：机器学习（西瓜书）注解：第10章 降维与度量学习         本次更新第10章，降维与度量学习。针对该章注解有任何问题欢迎在此留言~        从该章目录中可以看出10.2节至10.5节均为降维方法，其中10.2节的MDS和10.3节的PCA为线性降维方法，而10.4节的KPCA和10.5节的流形学习（含Isomap和LLE两种方法）为非线性降维方法，但作者为什么将k近邻学习和度...
【机器学习】降维方法(一)----主成分分析(PCA)
花丸大老师的博客
04-19 2496
发现其实还有很多知识点还未整理和掌握，包括降维、模型评估、特征选择、稀疏学习、聚类算法等。在实践中穿插着整理和学习吧。先从降维方法开始。 线性降维 欲获得低维子空间，最简单的方法就是对原始高维空间进行线性变换。 给定样本X∈Rn×mX∈Rn×mX\in\Bbb R^{n\times m}，即有mmm个数据样本，每个样本有nnn个特征(nnn维)，记为xi=(x(1)i,x(2)i,......
PCA原理小结
Sual
08-29 3378
　　主成分分析（Principal Component Analysis，PCA）是最常用的一种数据降维方法。顾名思义，PCA就是找出原始数据中最主要的方面来表示原始数据，可以获得比原始输入维度更低的表示。具体来说，假设原始数据X={x(1),x(2),…,x(m)}X={x(1),x(2),…,x(m)}X=\{x^{(1)},x^{(2)},\dots,x^{(m)}\}，x(i)x(i)x^...
机器学习：降维与度量学习解析
"降维与度量学习是机器学习中的重要概念，用于处理高维数据带来的问题，如维数灾难，通过降维可以提高样本密度，简化计算，并可能减少噪声和冗余属性。本文主要讨论降维和度量学习，并提及了K近邻（KNN）算法作为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值