李宏毅ML lecture-13 unsupervised Learning Principle Component Analysis

最新推荐文章于 2022-09-19 18:40:23 发布
最新推荐文章于 2022-09-19 18:40:23 发布
阅读量625 收藏 2
点赞数 1
分类专栏： 机器学习 深度学习 文章标签： PCA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arron_hou/article/details/87914663
版权

李宏毅ML lecture-13 unsupervised Learning Principle Component Analysis

在这里插入图片描述
这个课呢讲解无监督学习中的两大类,数据降维和生成模型.
数据降维先专注于线性降维.

聚类(Clustering)

K-means

在这里插入图片描述

HAC

在这里插入图片描述

数据降维(Dimension Reduction)

数据降维直观上看这张图就能知道,高维空间中的特点可以在低维空间表示.
在这里插入图片描述
再举例来说,一张数字图片大小为 28 × 28 28\times28 28×28,但是表示数字的信息的像素点是很少的.
在这里插入图片描述
在这里插入图片描述
一张3的图片,经过旋转之后,还是3,但是计算机得到的是另外4张图片.
而这4张图片可以用一个仿射变换矩阵得到,这样数据得到了压缩.
在这里插入图片描述
如何做降维呢?

第一种方法叫Feature selection:把没有用的维度去掉
在这里插入图片描述
第2种就是PCA

PCA(Principal Component Analysis)

PCA就是一个线性函数,输入一个高维向量输出一个低维向量.
在这里插入图片描述
在这里插入图片描述
这里引用了Bishop 对于PCA的定义.
在这里插入图片描述
再补充一个大佬的博客

PCA的做法就蕴含在定义中.
先找 w 1 w_1 w1​,使得 z 1 z_1 z1​的方差最大:
在这里插入图片描述
再找 w 2 w_2 w2​,使得 z 2 z_2 z2​的方差最大,同时保证 w 2 w_2 w2​与先找到的 w 1 w_1 w1​垂直,以此类推,找到所有的 w i w_i wi​.所以最终的 W W W是一个正交矩阵(Orthogonal matrix):
在这里插入图片描述
在大佬的博客中,其实就说的非常清楚了:
在这里插入图片描述
PCA降维到k维,这个k就是一个超参数,是需要自己决定的.下图中的M既是k.
在这里插入图片描述
在这里插入图片描述
下面的推导需要注意:
( a ⋅ b ) (a \cdot b) (a⋅b)表示内积
( a b ) (ab) (ab)表示矩阵乘积
下面推导后的结果就是:
让投影后方差最大等价于让 ( w 1 ) T S w 1 (w^1)^TSw^1 (w1)TSw1最大.
S S S是数据的协方差矩阵
同时规定 ∣ ∣ w 1 ∣ ∣ 2 = ( w 1 ) T w 1 = 1 ||w^1||_2=(w^1)^Tw^1=1 ∣∣w1∣∣2​=(w1)Tw1=1作为限定条件
这个条件就可以用拉格朗日乘数法带入,找到 w 1 w^1 w1
如果对推导有困难,可以先看后面的PRML中的特征向量和拉格朗日乘数法.
在这里插入图片描述

基于特征值分解协方差矩阵实现PCA算法

因为 S S S是数据的协方差矩阵,所有具有一些性质:

  1. S S S是对称的(Symmetric)
  2. S S S是半正定矩阵(Positive-semidefinite): 设 S S S为实对称矩阵，若对于每个非零实向量 X X X，都有 X T S X ≥ 0 X^TSX\ge 0 XTSX≥0，则称A为半正定矩阵，称 X T S X X^TSX XTSX为半正定二次型。
  3. S S S的特征值(eigenvalues)都是非负的
  4. eigenvector是特征向量

通过推导得到结论:
计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量,选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。
下图为k=1:
在这里插入图片描述
下图为k=2:
求偏导得到红色框公式:
左乘 ( w 1 ) T (w^1)^T (w1)T推导得 β = 0 \beta=0 β=0
红色框公式带入 β = 0 \beta=0 β=0得黄色框公式
所以 w 2 w^2 w2是特征向量
因为最大的特征值对应的特征向量是 w 1 w^1 w1
所以为了使 ( w 2 ) T S w 2 (w^2)^TSw^2 (w2)TSw2最大
w 2 w^2 w2就是第二大特征值对应的特征向量

在这里插入图片描述
在这里插入图片描述
C o v ( z ) = D Cov(z)=D Cov(z)=D对角矩阵(diagonal matrix)
在这里插入图片描述

特征向量

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

拉格朗日乘数法

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

基于SVD分解协方差矩阵实现PCA算法

假设在MNIST上的数字都是由不同的笔画组成,每一个数字可以看作是笔画的线性组合.
我们提取的笔画数远远小于像素数,就完成了数据降维.
在这里插入图片描述
在定义中一个digit由component线性组成,再加一个digit的平均
digit: x x x
digits的平均: x ˉ \bar x xˉ
component线性组成: x ^ \hat x x^
x ˉ \bar x xˉ和 x x x是已知的,目标就是最小化 x − x ˉ x-\bar x x−xˉ与 x ^ \hat x x^之间的重构误差(reconstruction error)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

PCA通过神经网络实现

注意这时候 W W W不能保证是正交矩阵
在这里插入图片描述

PCA在数据可视化的例子

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Weakness of PCA

  1. 无监督的
  2. 线性的

在这里插入图片描述
在这里插入图片描述

PCA的扩展

矩阵分解(Matrix Factorization)

https://datajobs.com/data-science-repo/Recommender-Systems-[Netflix].pdf

在这里插入图片描述

Arron_hou
关注
专栏目录
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 545
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder
guoxinxin0605的博客
08-14 370
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder摘要一、Auto-encoder简介二、与PCA的联系三、Deep Auto-encoder四、应用4.1、Text Retrieval文本检索4.2、Similar Image Search相似图像搜索4.3、Pre-training DNN4.4、CNN as Encoder4.4.1、去池化层(Unpooling)4.4.2、去卷积层(Deconvolution)4.5、 Auto
机器学习 -- Unsupervised Learning: Principle Component Analysis
01-30
Unsupervised Learning: Principle Component Analysis Dimension Reduction Clustering Distributed Representation PCA PCA – Another Point of View
131.008 Unsupervised Learning - Principle component Analysis |PCA | 非监督学习 - 主成分分析...
weixin_33694172的博客
07-18 147
@(131 - Machine Learning | 机器学习) PCA是一种特征选择方法，可将一组相关变量转变成一组基础正交变量 25 PCA的回顾和定义 Demo： when to use PCA latent features driving the patterns in the data （demo find the big shots in enron） 访问隐藏的特征 dimen...
无监督学习-主成分分析(Unsupervised Learning-Principle Component Analysis)
weixin_43277904的博客
09-15 631
#无监督学习 Principle Component Analysis 主成分分析 聚类(Clustering) HAC层次凝聚的聚类 降维 Feature selection Feature selectio：去掉没用的维度。 PCA 基于特征值分解协方差矩阵实现PCA算法 因为S 是数据的协方差矩阵,所有具有一些性质: S是对称的(Symmetric) S是半正定矩阵(Positive...
【机器学习】李宏毅——Unsupervised Learning
FavoriteStar的博客
09-19 497
本文详细地介绍了关于非线性降维的内容，以及生成模型的相关内容，包括LLE算法、VAE算法、GAN算法等
李宏毅老师课程：Unsupervised Learning: PCA
APythonC的博客
09-04 457
无监督学习：PCAPCAFormulaDecorrelationAnother Point of ViewWeakness of PCAPCA for PokemonPCA for MNISTPCA for Face PCA 如果reduce to 1D，我们使用z1=w1∗xz_1=w^1*xz1​=w1∗x，使得xxx投影到w1w^1w1上，即达到了降维的目的，那么我们如何来评价降维的好坏呢？ 我们可以使用降维之后数据的variance来评价，variance越大越好 如果reduce to 2D，那
ML2021-Spring:李宏毅（Hung-Yi Lee）机器学习Machine Learning 2021 Spring
03-06
国立台湾大学机器学习Machine Learning 2021 Spring （每周更新！每周更新！） 该存储库包含李宏毅（Hung-Yi Lee）指导的15项机器学习家庭作业的代码和幻灯片。 有关该课程的所有信息都可以在上找到。 讲座视频 ...
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
最新发布
01-17
在信息技术领域，机器学习（Machine Learning, ML）作为一门关键的子领域，一直在推动着人工智能的发展。2022年春季，台湾大学的李宏毅教授开设了一门面向深度学习（Deep Learning）和机器学习的课程，旨在让学生...
【李宏毅2020 ML/DL】P60-61 Unsupervised Learning - Deep Generative Model
记录学习痕迹的公众号：Piper蛋窝
08-05 500
三大模型：PixelRNN 、Variational Auto Encoder(VAE)、Generative Adversarial Network。
李宏毅老师课程：Unsupervised Learning - Word Embedding
APythonC的博客
08-14 353
词嵌入：word embeddingIntroductionWord EmbeddingCount basedPrediction basedSharing ParametersTrainingVarious Architectures（各种架构）Result Introduction 用vector来表示一个word，最传统的做法是1-of-N Encoding，可以把有同样性质的word进行聚类，划分成多个class，然后用word所属的class来表示这个word，最后把每一个word都投影到高维空间
[李宏毅-机器学习]无监督学习 unsupervised learning
炼丹师
02-14 1224
Clustering 聚类 K-means Hierarchical Agglomerative Clustering Dimension Reduction 降维 PCA 找到一个方向w1，使得数据x投影在这个方向上，方差最大，这样在这个维度上还可以轻易区分各个数据z1 当需要投影到多维的时候，再找一个方向w2，使得x投影在这上方差最大，其中w2和w1是垂直的 ...
15、【李宏毅机器学习（2017）】Unsupervised Learning: Neighbor Embedding（无监督学习：邻域嵌套）
Jimmyzqb的博客
08-29 4062
上一篇博客介绍了无监督学习在文字中的降维方法——Word Embedding，本篇博客将继续介绍无监督学习算法的降维方法——Neighbor Embedding。 目录 Locally Linear Embedding (LLE) Laplacian Eigenmaps T-distributed Stochastic Neighbor Embedding (t-SNE) t-SNE算...
李宏毅学习笔记25.Unsupervised Learning.03: Deep Auto-encoder
老毛的博客
01-17 799
文章目录Auto-encoderStarting from PCADeep Auto-encoderPokemonAuto-encoder-Text RetrievalAuto-encoder-Similar Image SearchPre-training DNNDe-noising auto-encoderAuto-encoder for CNNCNN-UnpoolingCNN-Deconvo...
李宏毅学习笔记24.Unsupervised Learning.02: Neighbor Embedding
老毛的博客
07-07 454
非监督学习分为两大类：Clustering & Dimension Reduction 和Generation，上节讲的是线性的降维PCA，这节主要是讲非线性降维：TSNE，先从NE讲起。
李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction
zjguilai的博客
05-11 235
化繁为简：把比较复杂的input变成比较简单的output 无中生有：generation 找个可以画图的function 降维表达的意义： 不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？ 第一把输入数据分成K个cluster 每个cluster都找一个center，作为初始center,(k random Xn from X)从train ...
2020李宏毅机器学习笔记——21. Unsupervised Learning-Deep Auto-encoder(无监督学习之自编码器)
weixin_44790306的博客
08-15 937
摘要： 本章主要是关于自编码器的原理及其应用，自编码器是一种无监督学习方法，可用于数据降维及特征抽取。自编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器通常对输入对象进行压缩表示，解码器对经压缩表示后的code进行解码重构。 并介绍Auto文章目录1. 自编码器（Auto-encoder） 1. 自编码器（Auto-encoder） ...
【李宏毅机器学习笔记】 12、Unsupervised Learning - Linear Methods
ACL_lihan的博客
02-23 667
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值