李宏毅机器学习_10-1无监督学习-线性降维

最新推荐文章于 2024-03-15 18:14:13 发布
最新推荐文章于 2024-03-15 18:14:13 发布
阅读量194 收藏
点赞数
分类专栏： 李宏毅课程-机器学习飞桨深度学习学院
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/116894277
版权

无监督的两种方式在这里插入图片描述
不需要那么多维度来分析，只要保留角度的这个维度分析就够了
在这里插入图片描述
最常规的KMEAS聚类分析
在这里插入图片描述
当不知道聚类成几个类别的时候，可以用HAC两两比对分类
在这里插入图片描述
不一定是非黑即白一定术语某个类别，可能在不同的类别都有相应的权重占比
在这里插入图片描述
PCA：找一组互相不相关相互正交的向量来表示，表示的值和实际值的间距越小越好,很直观，有监督就是求出的值和实际值，无监督那既然没有实际值，那就是求出来的值本身蕴含的某种性质，比如方差最大，比如熵最小等等。还是得需要一个目标函数，套路是一样的，目标是什么。
在这里插入图片描述
线性代数求导的方法来求解
在这里插入图片描述
高斯分布假设没个维度是相互不相关的，可以先把输入做PCA处理，刚好用于下游任务
在这里插入图片描述
另外一个角度来理解，其实就是矩阵分解而已
在这里插入图片描述
SVD矩阵分解
在这里插入图片描述
根据矩阵的运算公式，可以表示成神经元的形式，自编码求解,区别在于神经网络梯度下降得出的值未必一定正交
在这里插入图片描述
无监督，所以不会考虑类别信息，考虑类别的有监督分许可以用LDA

，
因为线性表示的权重有正有负所以基础表示可能并不是某一部分，强制表示成某一部分可以用NMF
在这里插入图片描述
推荐系统很常用，有未知参数的时候，直接用神经网络，只利用有值的那部分数据即可
在这里插入图片描述
可以更加精准的表示
在这里插入图片描述
在这里插入图片描述
PCA在主题模型的应用就是LSA
在这里插入图片描述

降维（一）PCA (李宏毅机器学习）
BRAVE_NO1的专栏
11-18 1281
PCA、LLE、SNE、auto-encoder
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 530
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
[李宏毅-机器学习]无监督学习 unsupervised learning
炼丹师
02-14 1216
Clustering 聚类 K-means Hierarchical Agglomerative Clustering Dimension Reduction 降维 PCA 找到一个方向w1，使得数据x投影在这个方向上，方差最大，这样在这个维度上还可以轻易区分各个数据z1 当需要投影到多维的时候，再找一个方向w2，使得x投影在这上方差最大，其中w2和w1是垂直的 ...
李宏毅机器学习笔记(十四)——无监督学习(二)：线性数据降维与推荐系统
Unique13的博客
08-15 468
文章目录一.什么是数据降维二.主成分分析(PCA)1.基本思想2.数学推导 一.什么是数据降维   对于无标签的数据，我们很多时候并不是想将其分类，而是所谓的根据原始特征，精炼出一定的更有代表性的特征，这样既可以减小维度压缩数据量，同时相当于是对数据的一种清洗(例如去除冗余共线性的数据)。   因此我们的目标就是，对k个n维的行向量数据xix_ixi​(下标表示的是第几个输入数据)，我们找到一个函数fff，使得f(x)=zf(x)=zf(x)=z，其中zzz为m维行向量，代表着xxx转化后的特征，m<
李宏毅机器学习笔记(十三)——无监督学习(一)：聚类算法
Unique13的博客
08-14 624
文章目录一.什么是数据聚类二.基于GMM的聚类 一.什么是数据聚类   如果我们想要对全部都是无标签的数据进行分类，这时候数据聚类就是一大类方式。聚类的意思顾名思义，按照一定的法则，将部分“相近的”数据聚成同一类，给它们相同的标签即可。   下面介绍几种比较有代表性的聚类方法。 二.基于GMM的聚类   在半监督学习中我们已经讲过在部分数据有标签的情况下如何用GMM进行所谓的样本训练了。在这里，我们要自己去定义类的数量，之后随机初始化对应的多元高斯分布，然后以同样的操作使用EM算法即可。(当然最开始计算每个
李宏毅机器学习-PCA
weixin_44796129的博客
10-12 90
聚类就是给一堆没有标签的数据分类，贴标签。
台大-李宏毅-B站机器学习视频-课件
01-08
【机器学习】 在机器学习领域，无监督学习是一种重要的学习方法...这些资料详细阐述了如何使用Auto-encoder进行数据降维、特征学习以及在深度神经网络预训练中的应用，为理解机器学习中的无监督学习提供了宝贵的资源。
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5664
self-attention，transformer及变形
李宏毅2020机器学习课程课后作业要求+代码.zip
03-14
《李宏毅2020机器学习课程课后作业详解》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，这门课程的2020版不仅涵盖了丰富的理论知识，还提供了实战性的课后作业，旨在帮助学生巩固理解并提升实践能力。在...
李宏毅机器学习（9）—无监督学习（PCA）
qq_37217397的博客
03-08 601
分类 无监督学习可以分为两类： 一类是化繁为简，实际上是聚类和降维； 另一类是无中生有，即生成算法。 聚类算法 下述两种算法的区别在于，K-means聚类要事先自己设定要划分为几个cluster，而HAC不需要。 K-means聚类 ①人工设定有k个cluster，并为他们设置K个随机的examples。 ②为所有的样本计算出他们最可能属于的cluster（计算距离）。 ③对每个cluster求m...
unsupervised-predict-streamlit-template:EDSA无监督Sprint的基于Streamlit的推荐系统
03-08
基于Streamlit的推荐系统 探索数据科学研究院无监督预测 1）概述 该存储库构成了EDSA数据科学课程中无监督预测任务2的基础。 它包含模板代码，使学生能够基于 Web应用程序框架部署基本的推荐器引擎。 作为预测的一部分，预计学生将在此基础模板上进行扩展； 改进（和修复）给定的基本推荐算法，并通过其他应用程序页面/功能为问题和尝试的解决方案提供更大的上下文。 1.1）什么是推荐系统？ 推荐系统是我们现代技术世界中鲜为人知的英雄。 搜索引擎，在线购物，流式多媒体平台，新闻提要-所有这些服务都依赖于推荐算法，以便为用户提供他们想要与之交互的内容。 从根本上讲，这些系统使用相似性进行操作，在此我们尝试使人（用户）与事物（项目）匹配。 推荐系统中使用的两种主要方法是基于内容的过滤和基于协作的过滤。 在基于内容的过滤中，基于项目的属性来测量项目之间的相似性，而协作过滤则使用用户之间的相
机器学习——无监督学习与预处理
06-20
机器学习——无监督学习与预处理.
李宏毅机器学习笔记09（Unsupervised Learning 01——Clustering and PCA）
aomangyu0290的博客
08-08 317
无监督学习 1、无监督学习的概念 　　什么叫无监督学习（输入都是无label的数据，没有训练集之说） 　　无监督学习的两大任务：“化繁为简”（聚类、降维）、“无中生有” 2、聚类Clustering（K-means、HAC） 3、降维Dimension Reduction（PCA） 1、无监督学习的概念 　　一、什么叫无监督学习 　　　　　输入都是无lab...
（2020李宏毅）机器学习-无监督学习-词嵌入
顾道长生的科研笔记
10-11 305
文章目录1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入共享参数多语言嵌入文档嵌入 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。 1-of-N Encoding:用一个vector来表示word word Embedding：把每一个word都project到high dimension sapce上面(但是远比1-of-N Encoding的dimension要低，比如说有10w个word，那1-o.
2020李宏毅机器学习笔记-Unsupervised Learning: Introduction
zn961018的博客
05-16 495
目录 摘要 Introduction（介绍） Clustering K-means HAC Dimension Reduction PCA PCA for 1-D PCA for n-D Reconstruction Component Weakness of PCA PCA for Pokemon PCA for MNIST 总结和展望 摘要 本节首先介绍了什么是无监督学习及无监督学习的类别，主要分类两种，一种是化繁为简型，如聚类复杂的input输入，简单的output输出
百度飞桨大模型训练营：人工智能与大语言模型
ye_yumo的博客
03-15 3362
他的位置编码优势主要是因为首先在语言里，字的位置是非常重要的，他对于每个词赋予位置编码之后，那么就不需要再按照顺序进行输入，因为相当于词是自带位置的，那么此时就可以一次性输入大量的词，每一次都可以独立的计算，不需要等待其他位置的结果，也就是说可以进行并行训练。这分为四个步骤，首先是无监督学习，得到基座大模型，之后是有监督的微调，得到可以对话的模型，再是有监督学习，得到能够评估回答质量的奖励模型，最后是强化学习，使之生成结果符合人类期望。
【机器学习】无监督学习中的协同过滤算法（推荐系统）
m0_51816252的博客
08-08 1750
在无监督学习中，协同过滤算法使用的还是很多的，比如我们常见的逛淘宝时，系统可以根据我们的浏览内容或者搜索词等给我们推荐商品、抖音每天推荐的短视频等。这些都是运用了无监督学习中的协同过滤算法。......
《机器学习》西瓜书课后题10.1
weixin_42152526的博客
06-24 1281
《机器学习》课后题10.1 KNN，在数据集3.0上完全正确 python代码 import pandas as pd import numpy as np import matplotlib.pyplot as plt data = [[0.697, 0.460, 1], [0.774, 0.376, 1], [0.634, 0.264, 1], ...
《机器学习（周志华）》习题10.1 答案
勿忘初衷
04-03 4964
编程实现K邻近分类器，在西瓜数据集3.0@(属性只有密度与含糖率)上，比较其分类边界与决策树分类边界之异同。 KNN决策面图如下：
李宏毅机器学习HW5-Transformer数据
最新发布
08-11
李宏毅的机器学习课程中提到的HW5（作业5），可能涉及到Transformer模型在自然语言处理任务中的应用。Transformer是一种基于自注意力机制的深度学习模型，最初由Google在2017年提出的BERT（Bidirectional Encoder ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值