李宏毅2020机器学习 【学习笔记】 P56 Unsupervised Learning:Linear Model

已于 2023-09-29 23:10:37 修改
阅读量662 收藏
点赞数 4
分类专栏： 机器学习【学习笔记】 文章标签： 机器学习 学习 笔记
于 2023-09-19 16:55:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51330846/article/details/132947759
版权

目录

Unsupervised Learning 还可以做这些事

Clustering 聚类

K-means 方法

HAC 层次聚类法

小插曲： Distributed Representation

所以，其实 Distributed Representation 和 Dimension Reduction 是同一件事情。

其意义可视化（图中彩色点是样本点）

怎么做呢？两种方法

Principle component analysis PCA 主特征提取

从另一种角度来看 PCA

Weakness of PCA

What happen to PCA?

所以，我们有了 NMF

Matrix Factorization 矩阵因子分解

感谢B站up主搬运的课程：

【李宏毅2020机器学习深度学习(完整版)国语】 https://www.bilibili.com/video/BV1JE411g7XF/?share_source=copy_web&vd_source=262e561fe1b31fc2fea4d09d310b466d

Unsupervised Learning 还可以做这些事

  • Clustering & Dimension Reduction 化繁为简
  • Generation 无中生有

Clustering 聚类

K-means 方法

HAC 层次聚类法

小插曲： Distributed Representation

Clustering 的思想过于绝对，一个物体就对应一个类，实际上一个物体应该由不同的特点来描述，就如下图中“小杰”拥有0.7的强化系特质，拥有0.25的放出系特质……用这样六个维度来表示。

对于图片这样一个非常高维的东西来说，我们如果也能这样做，就把非常高维的东西降到了低维空间中。

所以，其实 Distributed Representation 和 Dimension Reduction 是同一件事情。

其意义可视化（图中彩色点是样本点）

【我完全可以用一个二维空间去描述一个三维空间中的卷起来的面，只要我选取卷起来的边为特征轴】

其实就是取一个方向向量，然后把那些向量都映射到那个方向上去，达到降维的目的。

怎么做呢？两种方法

一种就是像上文所说的，自行选取新的特征边；

另一种呢，就是 PCA 了

Principle component analysis PCA 主特征提取

z=Wx

注意我们要取的方向应使得 z 的方差最大，方差越大点与点分的越开，尽可能地保留了各点间的歧义度。

注意取的 w_1 有条件 ||w_1||_2 = 1 （2-norm 2-范数)

具体参考线性代数-范数(2) 向量范数 - 知乎 (zhihu.com)

所以我们现在要做的事情就是 Maximize 这个方差

即在各种取法下，新的维度分布方差，求那种让他最大的取法。

在找一条新的维度时

我们依然想让他方差最大，但不能找出来还是 z_1 ，所以加上限制条件 w_1 \cdot w_2 = 0 

最终将 w_1,w_2 ……放在一起组成 W 矩阵

中间讲了一大堆数学，没有听懂……

讲了怎么找符合条件的 w_1 、 w_2 ，结论如下

【 w_1 是 x 协方差矩阵 S 最大的本征值 \lambda_1 对应的本征向量】

【 w_1 是 x 协方差矩阵 S 第二大的本征值 \lambda_1 对应的本征向量】

从另一种角度来看 PCA

把原图像拆解成一堆组件乘上权重加一个均值

Weakness of PCA
  • 是 unsupercised 的， PCA 会根据无 label 的 data 自动地找出 variance 最大的特征维度，但是如果真实的 label 恰恰这样分之后得到了不好的效果呢（下面的 LDA 就是用了 label 的数据降维，但它是 supervised 的）
  • PCA 做的事情是线性的，像把图中的 S 形拉直这种非线性的事 PCA 是做不到的

What happen to PCA?

把人脸识别中 PCA 找出的前30个 component 列出来

会发现，为什么都是一张完整的脸，不是所谓“组件”？

在 PCA 中，我们并没有要求系数必须是正数，可以是负数，这就导致了组件可以是这个减去那个得来的。

所以，我们有了 NMF
  • 要求系数是正的，符合由组件组合而来的逻辑
  • 要求组件是正的，符合真正意义上的组件（负数的组件在图像上不好解释）

在采用了 NMF 之后，组件更像“组件”了

Matrix Factorization 矩阵因子分解

把每一个“阿宅”和每一个手办动漫人物都表示成 K 维的向量（即我们将 Dimension Descent 到了 K ）

将 M 个（图中错写为 N ）“阿宅”的向量叠起来，再将 N 个动漫人物的向量横着叠起来，将其相乘得到的矩阵与给出的原矩阵做 Minimize Error 即可。

【 latent 潜在的】

假如在表中有未知数，我们就没法拿矩阵来比较了，那我们就只对表中有的数据比较即可

同样的， Loss Function 并不是只有这一种定义方式，还可以根据你的想法加上权重、加上偏置、加上正则化项~

_bh
关注
专栏目录
15、【李宏毅机器学习（2017）】Unsupervised Learning: Neighbor Embedding（无监督学习：邻域嵌套）
Jimmyzqb的博客
08-29 4044
上一篇博客介绍了无监督学习在文字中的降维方法——Word Embedding，本篇博客将继续介绍无监督学习算法的降维方法——Neighbor Embedding。 目录 Locally Linear Embedding (LLE) Laplacian Eigenmaps T-distributed Stochastic Neighbor Embedding (t-SNE) t-SNE算...
李宏毅机器学习24—Unsupervised learning-linear methods
weixin_57178683的博客
06-06 290
摘要：这节课主要讲无监督学习中线性模型的知识 无监督学习主要分成两类：一类是降维、聚类。一类是生成。 聚类顾名思义就是将具有相同特征的数据分为一类，主要有两种方法：1.K-mean，2.HAC 降维是指将一个事务从高纬度降低到低纬度，方便计算。降维也是讲了两种方法：1.featureselection，2.PCA PCA（主成分分析）是整节课的重点，简单来说，就是将数据投影到方差更大的方向上。 从另一个角度来看，一张图片可以视为由多个component组成的，可以发现这里的component就是.
【机器学习】李宏毅——Unsupervised Learning
FavoriteStar的博客
09-19 491
本文详细地介绍了关于非线性降维的内容，以及生成模型的相关内容，包括LLE算法、VAE算法、GAN算法等
李宏毅老师课程：Unsupervised Learning: PCA
APythonC的博客
09-04 448
无监督学习：PCAPCAFormulaDecorrelationAnother Point of ViewWeakness of PCAPCA for PokemonPCA for MNISTPCA for Face PCA 如果reduce to 1D，我们使用z1=w1∗xz_1=w^1*xz1​=w1∗x，使得xxx投影到w1w^1w1上，即达到了降维的目的，那么我们如何来评价降维的好坏呢？ 我们可以使用降维之后数据的variance来评价，variance越大越好 如果reduce to 2D，那
李宏毅老师课程：Unsupervised Learning - Word Embedding
APythonC的博客
08-14 349
词嵌入：word embeddingIntroductionWord EmbeddingCount basedPrediction basedSharing ParametersTrainingVarious Architectures（各种架构）Result Introduction 用vector来表示一个word，最传统的做法是1-of-N Encoding，可以把有同样性质的word进行聚类，划分成多个class，然后用word所属的class来表示这个word，最后把每一个word都投影到高维空间
李宏毅 DeepLearning-2017-Unsupervised Learning PCA-linear Dimension Reduction
zjguilai的博客
05-11 228
化繁为简：把比较复杂的input变成比较简单的output 无中生有：generation 找个可以画图的function 降维表达的意义： 不同的image用同一个cluster,做降维处理，那么如何确定设置多少个cluster呢？？？ 第一把输入数据分成K个cluster 每个cluster都找一个center，作为初始center,(k random Xn from X)从train ...
【李宏毅2020 ML/DL】P57 Unsupervised Learning - Linear Methods | PCA & Matrix Factorization
记录学习痕迹的公众号：Piper蛋窝
08-04 886
PCA实际上是一种线性的无监督 auto-encoder 。
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder
guoxinxin0605的博客
08-14 362
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder摘要一、Auto-encoder简介二、与PCA的联系三、Deep Auto-encoder四、应用4.1、Text Retrieval文本检索4.2、Similar Image Search相似图像搜索4.3、Pre-training DNN4.4、CNN as Encoder4.4.1、去池化层(Unpooling)4.4.2、去卷积层(Deconvolution)4.5、 Auto
introduction to ML/DL——李宏毅2020机器学习深度学习课程笔记（一）
qq_45180962的博客
07-07 376
一、learning map 图中的蓝色部分是数据训练的几种情景（Senario）。包括半监督学习（semi-supervised Learning）、迁移学习（Transfe Learning）、无监督学习（Unsupervised Learning）、强化学习（Reinforcement Learning）。在有数据的情况下，监督学习和半监督学习是最好的。强化学习往往是没数据的情况下迫不得已的行为。因此什么样的情景选择，依据什么样的数据来的。 图中红色部分以及包含在其中的绿色部分代表Task以及面对这
[机器学习入门] 李宏毅机器学习笔记-1（Learning Map 课程导览图）
Holeung blog
05-20 2万+
自1956年提出人工智能的概念，其一方面被认为是人类文明未来的发展方向，另一方面也被认为是难以企及的梦想。然而过去几年，随着GPU并行计算性能的强大和海量数据的收集，人工智能取得了爆发性增长。而增长的功臣便是机器学习，特别是机器学习中的深度学习。现在我将系统学习《李宏毅机器学习这门课》，并整理笔记，供学习讨论。
[机器学习入门] 经典台大李宏毅机器学习课程从这里开始
热门推荐
Holeung blog
08-21 8万+
TOPIC CONTENTS BLOG PDF VIDEO 【1】Learning Map（学习导图） blog pdf video 【2】Regression：Case Study ；回归：案例研究 blog pdf video 【3】Gradient Descent ；梯度下降 blog pdf video 【4
李宏毅ML lecture-13 unsupervised Learning Principle Component Analysis
qq_26737815的博客
02-09 259
李宏毅 lecture-13 unsupervised Learning聚类与数据降维聚类k-means 聚类与数据降维 聚类 k-means
李宏毅机器学习课程笔记6：Unsupervised Learning - Auto-encoder、PixelRNN、VAE、GAN
徐子尧的博客
04-16 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第16-18课所做的笔记和自己的理解。Lecture 16: Unsupervised Learning - Auto-encoder Auto-encoder在手写数字识别任务中，想训练一个NN encoder，得到图像的精简表达
李宏毅机器学习课程笔记5：Unsupervised Learning - Linear Methods、Word Embedding、Neighbor Embedding
徐子尧的博客
02-11 7212
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第13-15课所做的笔记和自己的理解。Lecture 13: Unsupervised Learning - Linear Methods Unsupervised Learning有两种，化繁为简（Clustering & Dim
【文献阅读】Unsupervised Machine Learning for Bot Detection on Twitter
weixin_42726068的博客
09-11 484
引入新特征，并降低所提模型的复杂性，从而提高基于聚类算法的机器人识别准确性。最小化数据集维度和选择重要特征来实现的。实验证明该方法的特征可以与四种不同的聚类技术（agglomerating、k-medoids、DBSCAN 和 K-means）结合使用，以解决由缺失标签和异常值引起的机器人识别问题。通过选择排名靠前的特征并减少维度，达到了 0.99 的准确率。
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
09-06 2910
深度学习是机器学习的一个重要分支，通过多层神经网络处理复杂数据，广泛应用于图像识别、自然语言处理等领域。我们将在这篇文章中揭开深度学习和神经网络的神秘面纱。
机器学习特征构建与特征筛选
西木风落
09-10 894
上一篇文章讲述了原始特征分析和处理，保障后续拿到的是干净的特征变量，但实际这些特征对于建模不一定是有效的，所以需要在原始特征的基础上，结合业务场景做特征变量的衍生，提升数据的表达能力。
机器学习2--matplotlib绘图包
最新发布
qq_54641174的博客
09-12 478
matplotlib画图
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值