李宏毅2020ML——P56 无监督学习 引言

最新推荐文章于 2021-10-11 17:26:42 发布
最新推荐文章于 2021-10-11 17:26:42 发布
阅读量120 收藏
点赞数
分类专栏： 李宏毅2020ML 文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115094176
版权

无监督学习

引言

关于无监督学习：在这里插入图片描述
什么是cluster？
在这里插入图片描述
cluster的另外一种方法
在这里插入图片描述
我们今天主要讨论的是化繁为简

dimension reduction是啥
在这里插入图片描述
那么为什么dimension reduction会是有用的呢？

拿手写数字识别来说，我们原本的参数是28*28的pixel，但是有很多都是多余的，我们需要去繁化简，找到最主要的components
在这里插入图片描述
我们用distributed representation 而不是cluster
在这里插入图片描述
那我们如何去做distributed representation
在这里插入图片描述

PAC

这是我们今天介绍的主要方法

首先需要明白我们的目标是什么，我们希望var(z)越大越好
在这里插入图片描述
在多维空间上在这里插入图片描述
运算推理
在这里插入图片描述
需要明白我们的目标和限制条件是什么
在这里插入图片描述
确立了目标，去找到w1
在这里插入图片描述
同样去找w2
在这里插入图片描述
PAC的去相关
在这里插入图片描述
另外一个角度去看PAC
在这里插入图片描述
我们需要去找到k个vector使差距越小越好
在这里插入图片描述
矩阵块的形式表示
在这里插入图片描述
会发现和之前的结果有很多相似的地方
在这里插入图片描述
虽然找到了w的值，但是对于不同的data，会有不一样的Ck值
在这里插入图片描述
得到一部分
在这里插入图片描述
对C2也进行同样的操作
在这里插入图片描述

宝可梦的例子

选择组成数量
在这里插入图片描述
一些描述
在这里插入图片描述
在这里插入图片描述

一些例子

手写数字
在这里插入图片描述
人脸
在这里插入图片描述
PAC的缺点
在这里插入图片描述

NMF

限制前提条件，使所有组件和它的加权值都必须是正的，所以图像都必须由组件叠加得到，上面的可以是相减得到
在这里插入图片描述
符合我们最开始得到一部分组件的想法
在这里插入图片描述

矩阵分解和推荐系统

链接:参考资料
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达机器学习课程笔记+代码实现(1)监督学习、无监督学习(Supervised Learning and Unsupervised Learning)
肖泽的博客
11-23 1219
吴恩达机器学习课程笔记（1）引言、监督学习、无监督学习 课程概述     &am
机器学习系列16-无监督学习引言
weixin_44406200的博客
06-29 1058
Unsupervised Learning: Introduction 如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！ 辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点链接，给我更多的更新动力叭！ Unsupervised Learning 无监督学习(Unsupervised Learning)可以分为两种： 化繁为简 聚类(Clustering) 降维(Dimension Reduction) 无中生有(Generation) 对于无监督学习(Un
机器学习（二）之无监督学习：数据变换、聚类分析
snail9610的博客
05-04 3624
文章目录0 本文简介1 无监督学习概述2 数据集变换2.1 预处理和缩放2.2 程序实现2.3 降维、特征提取与流形学习2.3.1 主成分分析2.3.2 非负矩阵分解2.3.3 用t-SNE进行流形学习3 聚类3.1 K均值聚类3.2 凝聚聚类3.3 DBSCAN3.4 聚类算法的对比与评估4 聚类分析小结4 聚类分析小结 0 本文简介 本文根据Andreas C.Muller的《Introduc...
李弘毅机器学习笔记：第十六章—无监督学习
fly975247003的博客
09-28 547
李弘毅机器学习笔记：第十六章—无监督学习聚类K-means层次聚类Distributed Representation降维降维样例特征选择主成分分析数学推导主成分分析的另一个角度奇异值分解主成分分析和神经网络缺点应用实例矩阵分解FM推荐系统中的应用MF主题分析的应用未引入的其他相关方法 我把dimension reduction分为两种，一种做的事情叫做“化繁为简”，它可以分为两种：一种是clu...
李宏毅机器学习_10-1无监督学习-线性降维
qq_15821487的博客
05-16 181
无监督的两种方式 不需要那么多维度来分析，只要保留角度的这个维度分析就够了 最常规的KMEAS聚类分析 当不知道聚类成几个类别的时候，可以用HAC两两比对分类 不一定是非黑即白一定术语某个类别，可能在不同的类别都有相应的权重占比 PCA：找一组互相不相关相互正交的向量来表示，表示的值和实际值的间距越小越好 线性代数求导的方法来求解 高斯分布假设没个维度是相互不相关的，可以先把输入做PCA处理，刚好用于下游任务 另外一个角度来理解，其实就是矩阵分解而已 SVD矩阵分解 根据矩阵的运算公式，可
（2020李宏毅）机器学习-无监督学习-词嵌入
顾道长生的科研笔记
10-11 292
文章目录1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入共享参数多语言嵌入文档嵌入 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。 1-of-N Encoding:用一个vector来表示word word Embedding：把每一个word都project到high dimension sapce上面(但是远比1-of-N Encoding的dimension要低，比如说有10w个word，那1-o.
视频学习笔记——李宏毅机器学习——P1，2
09-12
总结来说，机器学习是一个涵盖广泛领域的研究主题，包括深度学习、监督学习、无监督学习和强化学习等多种方法。这些方法都在不断进步，推动着人工智能的发展，并在众多实际应用中展现出强大的潜力。通过持续的学习和...
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载...
李宏毅2020机器学习课程课后作业要求+代码.zip
03-14
《李宏毅2020机器学习课程课后作业详解》 李宏毅教授的机器学习课程因其深入浅出的讲解而备受赞誉，这门课程的2020版不仅涵盖了丰富的理论知识，还提供了实战性的课后作业，旨在帮助学生巩固理解并提升实践能力。在...
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
李宏毅2020机器学习_课堂作业.zip
最新发布
04-12
机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的...
李宏毅2020ML——P24-31可解释性ML
weixin_44177594的博客
03-17 351
Explainable machine learningintroduceLocal Explainable基本的思想：global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数 introduce 在分类问题中，我们输入一张猫的图片，machine会告诉我们这是”猫“，但是为什么？ 问题1：为什么machine会认为这个是猫呢？ 问题2：machine眼中的猫是什么样子的呢？ 或者是m
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 288
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
李宏毅2020ML——P8-P9 Optimization for Learning（最优化方法）
weixin_44177594的博客
03-10 265
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结 SGD 缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 SGD容易收敛到局部最优，并且在某些情况
李宏毅2020ML——tips for training DNN深度学习技巧
weixin_44177594的博客
03-15 243
tips for training DNN本节综述：Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo
李宏毅2020ML——P11 Logistic Regression（逻辑回归）
weixin_44177594的博客
03-12 238
Review 3 steps of machine learning Step1: function set Step2:Goodness of a function 似然函数只需要将每一个点产生的概率相乘即可，注意，这里假定是二元分类，class 2的概率为1减去class 1的概率 由于L ( w , b ) 是乘积项的形式，为了方便计算，我们将上式做个变换： 这样式子进一步改写： 如果是上面的例子就会是：（目的就是为了统一格式） 现在已经有了统一的格式，我们就可以把要minimize的对
李宏毅2020ML——P17 CNN（Convolutional Neural network）
weixin_44177594的博客
03-12 225
Convolutional Neural network引入CNN V.S. DNNWhy can we discard some parametersreason1：Some patterns are much smaller than the whole imagereason2：The same patterns appear in different regions.reason3：Subsampling the pixels will not change the objectThe whole
李宏毅2020ML——P12 Deep Learning深度学习概述
weixin_44177594的博客
03-12 208
deep learningUps and downs of Deep Learningstep1:define function(Neural Network)Matrix OperationOutput Layerexamplestep2：Goodness of functionstep3：Pick the best function Ups and downs of Deep Learning step1:define function(Neural Network) 只不过我们用neural
李宏毅2020ML——P22 semi-supervised半监督学习
weixin_44177594的博客
03-16 202
semi-supervisedintroduceSemi-supervised Learning for Generative ModelLow-density Separation AssumptionSmoothness AssumptionBetter Representation introduce 简单介绍： 为什么半监督学习会有效果呢？ Semi-supervised Learning for Generative Model 生成模型的半监督学习 监督生成模型： 半监督生成模型： 具体
李宏毅机器学习课程：深度自编码器与无监督学习
"该资源是台湾大学李宏毅教授在B站发布的机器学习课程相关课件，主要涉及无监督学习中的深度自编码器(Deep Auto-encoder)技术。" 深度自编码器是一种无监督学习方法，它由两部分组成：编码器(Encoder)和解码器...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值