李宏毅《Machine Learning》笔记 -- 无监督学习--auto encoder

最新推荐文章于 2022-06-05 21:13:47 发布
最新推荐文章于 2022-06-05 21:13:47 发布
阅读量205 收藏
点赞数
分类专栏： 李宏毅机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39847930/article/details/101107196
版权

Unsupervised Learning

Deep learning 做无监督学习的方法

Auto-encoder

用神经网络做降维

encoder decoder独自存在没法学。

bottleneck layer 瓶颈层

 

deep ae 就是多加几层 

重点不是最后loss低，而是code做的有多好

De-noising auto-encoder 为了train的更好，添加噪音

 

用于

1 Text Retrieval

Vector space model

Bag-of-word

2 similar image search

Auto-encoder for CNN

Unpooling：扩展通通补零 把image变大

Deconvolution: 

Pre-training DNN

RBM、Deep belief nettwork 不是neural network

encoder 用来降维

decoder可以用来产生image

 

 

 

 

 

 

 

 

hhhhh0hhhhhh
关注
专栏目录
李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5197
包含李宏毅机器学习视频P17-P23的课程梗概
李宏毅《Machine Learning》笔记 -- 无监督学习--generation
weixin_39847930的博客
09-21 271
PixelRNN: 根据前面的pixel 预测下一个 生成图片、也可生成语音 生成影像 生成模型很难评估 VAE 为什么要用VAE 高斯混合模型 来estimate the probability distribution 很多高斯混合起来 VAE是高斯混合模型的 distributed representation的版本 K...
[李宏毅-机器学习]无监督学习 unsupervised learning
炼丹师
02-14 1231
Clustering 聚类 K-means Hierarchical Agglomerative Clustering Dimension Reduction 降维 PCA 找到一个方向w1，使得数据x投影在这个方向上，方差最大，这样在这个维度上还可以轻易区分各个数据z1 当需要投影到多维的时候，再找一个方向w2，使得x投影在这上方差最大，其中w2和w1是垂直的 ...
李宏毅机器学习——无监督学习(一)
日积月累，天道酬勤
02-11 613
引言 本文主要探讨无监督学习的线性方法(Linear Methods)。 聚类 把很多不同的图像，根据它们的相似度分成不同的组（类别），问题是要分成多少个组。 最常用的方法有： K-means 聚类NNN个数据X={x1,⋯ ,xn,xN}X=\{x^1,\cdots,x^n,x^N\}X={x1,⋯,xn,xN} 到KKK个组 初始化KKK个分组中心点:ci,i=1,2,⋯ ,Kc^i,i=...
李宏毅：Auto-encoder
qq_42146775的博客
07-08 668
什么是auto-encoder 首先找一个encoder，作用好比输入一张图片丢入网络输出一个code（code是一个输入目标的压缩代表）， 同时还有一个decoder，输入一个coder，丢入该网络，生成一个图片，能够重建原来的图像 这个技术可以采用auto encoder（可以给一张图片变成code），但是encoder不能自己训练，必须需要decoder（给一个code变成一张图片） 这两个NN，不能单独训练，需要一起学 与PCA有类似的思想 输入一张图片 PCA就是输入图片x (x 往往减去平
李宏毅《Machine Learning》笔记 -- 无监督学习--线性模型
weixin_39847930的博客
09-20 429
1、聚类算法 化繁为简、分几类为经验主义 K-means dimension reduction 1、feature selection 2、principle component analysis PCA SVD pca弱点：非监督、线性 Matrix Factorization (MF)。。。也是FM？ PCA不懂 之后再看。。。...
2021李宏毅机器学习笔记--22 Generative Adversarial Network 01
guoxinxin0605的博客
08-29 642
@[TOC](2021李宏毅机器学习笔记–22 Generative Adversarial Network 01(GAN,生成式对抗网络)) 摘要 GAN是建立于神经网络的基础上的，其核心思想是“生成”与“对抗”，GAN网络结构包含两个模型，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型一般是使用反卷积神经网络或者全连接神经网络，通过输入的数据生成二维图像，而判别模型是一个卷积神经网络二元分类器，它的工作主要是负责判断生成模型所生成的图像是来自数据集的真
【李宏毅2020 ML/DL】P59 Unsupervised Learning - Auto-encoder
记录学习痕迹的公众号：Piper蛋窝
08-04 917
有趣的自编码技术，包括CNN的自编码。
李宏毅老师《机器学习》课程笔记-5 Transformer
宁萌Julie的博客
06-05 1239
详细介绍大名鼎鼎的 Transformer 。
[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3)
Holeung blog
07-30 2081
[机器学习入门] 李宏毅机器学习笔记-34 (Recurrent Neural Network part 3;循环神经网络 part 3) PDF VIDEO 上接part 2 RNNBeyond Sequence 那么这种sequence to sequence 的方法还可以用于Syntactic parsing 句法分析上，得到树桩结构。 而它表达的方式就是通过括号来标记的，虽然
2020李宏毅学习笔记——11.Unsupervised Learning： Linear Methods（无监督学习）
weixin_44790306的博客
07-04 1014
文章目录摘要1. Introduction（介绍）2.Clustering（聚类）2.1 K-means2.2 HAC3. Dimension Reduction（降维）3.1 How to do Dimension Reduction？3.2 Principle component analysis(PCA)3.2.1 PCA for 1-D 摘要 1. Introduction（介绍） 无监督学习可以分为两大类： 第一类：化繁为简 聚类(Clustering) 降维(Dimension Reduc
李宏毅机器学习——学习笔记（15） Unsupervised Learning—Auto encoder
m0_37757740的博客
04-07 743
Auto-encoder 1.encode：将原来高维sample encode成低维的code，再将code尽量decode成原来的sample。 2.deep auto-encoder只是将层数加深。auto encode的construction error不是重点，重点是code表示的有多好。 3. De-noising auto-encoder：在原来的sample上加入噪声数据，但...
李宏毅机器学习（9）—无监督学习（PCA）
qq_37217397的博客
03-08 614
分类 无监督学习可以分为两类： 一类是化繁为简，实际上是聚类和降维； 另一类是无中生有，即生成算法。 聚类算法 下述两种算法的区别在于，K-means聚类要事先自己设定要划分为几个cluster，而HAC不需要。 K-means聚类 ①人工设定有k个cluster，并为他们设置K个随机的examples。 ②为所有的样本计算出他们最可能属于的cluster（计算距离）。 ③对每个cluster求m...
李宏毅机器学习2016 第十五讲 无监督学习 生成模型之 VAE
Come_for_IT 的博客
01-19 3583
视频链接：李宏毅机器学习(2016)_演讲•公开课_科技_bilibili_哔哩哔哩课程资源：Hung-yi Lee课程相关PPT已经打包命名好了：链接：https://pan.baidu.com/s/1c3Jyh6S 密码：77u5我的第十四讲笔记：李宏毅机器学习2016 第十四讲 深度自编码器Unsupervised Learning ： Generation本章主要讲解了无监督学习中的生成模
【李宏毅2021机器学习深度学习】7-5，7-6 自编码器（Auto-encoder）
py今天刷题了吗
01-06 2080
文章目录7-5 自编码器（上）目录自编码器是什么（不用标注的训练，但要发明一个任务可以去训练）Auto-encoder的流程（Encoder将输入向量压缩为更低维度的向量，但是携带的信息会更多）为什么Auto-encoder有效？（图片看似有3x3种可能，但是变化可能就几种，所以可以用Encoder进行压缩）Auto-encoder is not a new idea（15年前就有了...）De-noising Auto-encoder（加点噪声，回顾BERT？）7-6 自编码器（下）目录Feature D
李宏毅机器学习——无监督学习(二)
日积月累，天道酬勤
03-07 480
引言 本文主要讨论单词嵌入(Word Embedding)。是用在文本上的降维方法。 单词嵌入 喂给机器大量的文章后，它可以自动的把每个不同的词汇都用一个向量来表示。 我们希望机器在用向量来表示词汇后，向量每个维度都代表某种含义。 或者说这些词汇有相似的关系或某种语义，能在这个向量中呈现出来。 这些来描述词汇的向量我们就称为单词嵌入。 一次词汇如果只用一个向量来描述它，最简单的方法就是1-of-...
李宏毅机器学习_10-4无监督学习-自编码器
qq_15821487的博客
05-16 166
没有数据的时候直接自我学习，非常妙 深度学习，每层用不同维度，能把不同层面的特征学习出来，更好的表示输入的特征向量 加入噪音，鲁棒性会更好，不仅能学到输入的特征，还能把噪音数据过滤掉 传统的词袋发只是累计的一个词频统计而已，并没有把上下文的语义信息考虑进来 相似度匹配的前提是，这个进行相似度计算的向量一定是足够好的能表示输入图像、文本、语音特征的向量，那要训练出这样的向量，数据不能少，模型足够好 图像的回复 池化就是补零回复而已，反卷积其实本质上还是一个卷积运算，补零后进行卷积运算而已 预训练
（2020李宏毅）机器学习-无监督学习-词嵌入
顾道长生的科研笔记
10-11 315
文章目录1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入共享参数多语言嵌入文档嵌入 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。 1-of-N Encoding:用一个vector来表示word word Embedding：把每一个word都project到high dimension sapce上面(但是远比1-of-N Encoding的dimension要低，比如说有10w个word，那1-o.
李宏毅-DeepLearning-2017-Unsupervised Learning:Deep Auto-encoder
zjguilai的博客
05-22 373
Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。 auto-encoder就是比PCA多加了几个Hidden layer 结果对比： auto-encoder的结果较...
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值