降维（一）PCA (李宏毅机器学习）

最新推荐文章于 2023-10-12 21:04:27 发布
VIP文章 最新推荐文章于 2023-10-12 21:04:27 发布
阅读量1.1k 收藏 4
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BRAVE_NO1/article/details/84203363
版权

一直以来数据降维是非常重要的预处理步骤，通过数据降维，我们可以实现数据可视化、数据降噪、数据压缩等目标。那么如何定义降维呢？我们定义一个映射矩阵W，z=w*x，则表示原数据通过矩阵W变成Z。
在这里插入图片描述

PCA（principle component analysis主成分分析）

主成分分析总体来说是为了在降维的过程中尽可能的保存信息。那么如何衡量信息呢，我们考虑到了熵： − ∫ p l n p -\int p lnp −∫plnp。熵中用到了概率分布，那么如何求解pdf(概率密度函数），我们考虑到了高斯。那么如何度量保存了信息的大小呢，我们考虑到了方差。如果原数据X与降维后的数据Z之间的方差接近，那么我们认为保存了足够的信息。但是var(Z)与var(X)是不同维度的数据，无法比较，所以我们可以换个角度进行思考。因为X是已知的，则var(X)也就是已知的。而var(Z)越大也就是离var(X）越近，最大也不会超过var(X)。这样一来，我们的目标就变成了使得Var(Z)最大化。
在这里插入图片描述
在图中，当投影在方差大的方向时，保存得信息最多。
在这里插入图片描述
那我们就开始计算：从第一个主成分开始： z 1 = w 1 x z_1=w^1x z1​=w1x：
在这里插入图片描述
根据前面对W的声明，它是一个正交矩阵，那么我们在这里可以添加约束认为是标准正交矩阵。那么可以添加约束

最低0.47元/天 解锁文章
D.Guan
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习PCA降维实战项目
02-11
本项目实现了机器学习中经典的PCA降维，并在真实世界数据集上进行了实践。项目包含了数据集预处理、模型定义与降维可视化等部分，代码注释清晰。
李宏毅机器学习（9）—无监督学习（PCA）
qq_37217397的博客
03-08 543
分类 无监督学习可以分为两类： 一类是化繁为简，实际上是聚类和降维； 另一类是无中生有，即生成算法。 聚类算法 下述两种算法的区别在于，K-means聚类要事先自己设定要划分为几个cluster，而HAC不需要。 K-means聚类 ①人工设定有k个cluster，并为他们设置K个随机的examples。 ②为所有的样本计算出他们最可能属于的cluster（计算距离）。 ③对每个cluster求m...
李宏毅机器学习-PCA
weixin_44796129的博客
10-12 62
聚类就是给一堆没有标签的数据分类，贴标签。
李宏毅深度学习--《Unsupervised Learning》+《PCA》+《Matrix Factorization》
GuoShao_的博客
09-03 589
学习笔记
李宏毅机器学习系列-无监督学习之PCA
王伟王胖胖的博客
08-26 1794
李宏毅机器学习系列-无监督学习之PCA无监督学习做什么聚类(Clustering)分布式表示(Distributed Representation)降维主成分分析 (Principle component analysis)数学推导 无监督学习做什么 我们做无监督学习一般就是两个方向，一个是降维，比如下面的树，只有输入，没有标签，我们希望通过一个函数抽象出少量的特征来描述他们，于是就抽出来了一个更...
李宏毅老师课程：Unsupervised Learning: PCA
APythonC的博客
09-04 414
无监督学习：PCAPCAFormulaDecorrelationAnother Point of ViewWeakness of PCAPCA for PokemonPCA for MNISTPCA for Face PCA 如果reduce to 1D，我们使用z1=w1∗xz_1=w^1*xz1​=w1∗x，使得xxx投影到w1w^1w1上，即达到了降维的目的，那么我们如何来评价降维的好坏呢？ 我们可以使用降维之后数据的variance来评价，variance越大越好 如果reduce to 2D，那
机器学习之PCA降维.zip
06-17
使用矩阵方法对高维数据降维
李宏毅机器学习.zip
最新发布
04-08
机器学习（Machine learning）是人工智能的子集，是实现人工智能的一种途径，但并不是唯一的途径。它是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善...
机器学习编程作业降维PCA（主成分分析）.7z
06-05
机器学习编程作业降维PCA（主成分分析）.7z
机器学习之主成分分析PCA数据降维
01-20
在统计学中，主成分分析PCA是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分...
李宏毅机器学习笔记09（Unsupervised Learning 01——Clustering and PCA）
aomangyu0290的博客
08-08 273
无监督学习 1、无监督学习的概念 　　什么叫无监督学习（输入都是无label的数据，没有训练集之说） 　　无监督学习的两大任务：“化繁为简”（聚类、降维）、“无中生有” 2、聚类Clustering（K-means、HAC） 3、降维Dimension Reduction（PCA） 1、无监督学习的概念 　　一、什么叫无监督学习 　　　　　输入都是无lab...
李宏毅机器学习2016 第十三讲 无监督学习之非线性降维：流型学习（Mainfold Learning）
Come_for_IT 的博客
01-18 2501
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十二讲笔记：李宏毅机器学习2016 第十二讲 无监督学习：线性维数约减Unsupervised Learning：Neighbor Embedding1.流型学
降维（二）LLE+t-SNE+auto-encoder(李宏毅机器学习）
BRAVE_NO1的专栏
11-18 842
LLE:Locally Linear Embedding 首先引入一下这个想法： 在图中可以看出，在原来的数据中，1与2是距离比较近的，因为你要到达3需要经过2，而降维后我们会导致表示结果中（1和3）比（1和2）近，因此我们需要解决这个问题：采取记录原始”权重“的办法。 step1:学习原始数据中xi,xjx_i,x_jxi​,xj​之间的关系。 然后保持权重wijw_ijwi​j不变，来评...
李宏毅ML笔记14:降维/无监督-线性方法
越开源越幸运
09-14 556
​无监督学习介绍 无监督学习 聚类 K-means 层次聚类HAC 降维 降维有助于学习的原因 如何降维 PCA数学推导 降到1维 降到多维空间 求解PCA-拉格朗日乘子法 计算w1 计算w2 去相关性 PCA算法原理 重建组件 PCA所得W最小化 重建误差证明 自编码器
李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction
zjguilai的博客
05-11 218
化繁为简：把比较复杂的input变成比较简单的output 无中生有：generation 找个可以画图的function 降维表达的意义： 不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？ 第一把输入数据分成K个cluster 每个cluster都找一个center，作为初始center,(k random Xn from X)从train ...
2020李宏毅机器学习笔记-Unsupervised Learning: Introduction
zn961018的博客
05-16 455
目录 摘要 Introduction（介绍） Clustering K-means HAC Dimension Reduction PCA PCA for 1-D PCA for n-D Reconstruction Component Weakness of PCA PCA for Pokemon PCA for MNIST 总结和展望 摘要 本节首先介绍了什么是无监督学习及无监督学习的类别，主要分类两种，一种是化繁为简型，如聚类复杂的input输入，简单的output输出
PCA李宏毅笔记
DecafTea的博客
03-12 103
https://blog.csdn.net/code_caq/article/details/79636136 wiki：
李宏毅机器学习——无监督学习(一)
日积月累，天道酬勤
02-11 586
引言 本文主要探讨无监督学习的线性方法(Linear Methods)。 聚类 把很多不同的图像，根据它们的相似度分成不同的组（类别），问题是要分成多少个组。 最常用的方法有： K-means 聚类NNN个数据X={x1,⋯ ,xn,xN}X=\{x^1,\cdots,x^n,x^N\}X={x1,⋯,xn,xN} 到KKK个组 初始化KKK个分组中心点:ci,i=1,2,⋯ ,Kc^i,i=...
李宏毅机器学习自己的笔记（一）----------Introduction of MachineLearning
luolang_103的博客
02-02 1107
视频来源：李宏毅机器学习(2017)_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili https://www.bilibili.com/video/av10590361/?p=2 声明：图片均来自于视频截图 问题一：   AI，机器学习  ，深度学习关系 答：AI人工智能是人类最终要实现的，完成的目标。机器学习是人类在尝试完成这个目标所创生的一种途径。而深度学习是让机器学习完成
lda降维与pca降维的区别
07-28
LDA降维和PCA降维是两种常用的降维方法，它们有一些区别。首先，LDA是一种有监督学习方法，而PCA是一种无监督学习方法。这意味着LDA在降维过程中可以利用类别的先验知识，而PCA则无法使用类别先验知识。\[2\] 其次，LDA在样本分类信息依赖均值而不是方差的情况下表现较好，而PCA则不考虑样本的类别信息，只关注数据的方差。因此，在样本分类信息依赖方差而不是均值的情况下，LDA的降维效果可能不如PCA。\[2\] 另外，LDA降维最多可以降到类别数k-1的维数，而PCA没有这个限制。如果需要降维的维度大于k-1，则不能使用LDA。当然，目前也有一些LDA的进化版算法可以绕过这个问题。\[2\] 总的来说，LDA降维更适合在有类别信息的情况下进行降维，而PCA降维则更适合在无监督学习的场景下进行降维。此外，它们在处理非高斯分布样本、样本分类信息依赖方差而不是均值以及过度拟合数据等方面也有一些不同的表现。\[2\] \[3\] #### 引用[.reference_title] - *1* *2* *3* [降维(PCA和LDA)](https://blog.csdn.net/weixin_43584807/article/details/105162516)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值