李宏毅ML lecture-16 unsupervised Learning Auto-encoder

最新推荐文章于 2022-12-31 10:41:19 发布
最新推荐文章于 2022-12-31 10:41:19 发布
阅读量480 收藏
点赞数
分类专栏： 机器学习 文章标签： Auto-encoder  unsupervised Learning  李弘毅
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/arron_hou/article/details/88182182
版权

李宏毅ML lecture-16 unsupervised Learning Auto-encoder

Auto-encoder

两个神经网络，一个降维，压缩（compact）即Encoder, 把图片转换为code。一个根据code重建（reconstruct）原始的图片。

这两个神经网络单独无法训练，必须同时训练。
在这里插入图片描述

Recap: PCA

训练一个三层神经网络实现PCA，使输入和输出接近，同时存在一个Bottleneck（瓶颈） later layer。这个layer的参数小于input layer的参数，这样就实现了encode和decode。

在这里插入图片描述

Deep Auto-encoder

增加一些隐藏层，就实现了Deep Auto-encoder.

在这里插入图片描述

Reference: Hinton, Geoffrey E., and Ruslan R. Salakhutdinov. “Reducing the dimensionality of data with neural networks.” Science 313.5786 (2006): 504-507

Deep Auto-encoder 结果非常好
在这里插入图片描述

在这里插入图片描述

提高auto-encoder的能力，可以选择增加噪声

在这里插入图片描述

Ref: Rifai, Salah, et al. "Contractive auto-encoders: Explicit invariance during feature extraction.“ Proceedings of the 28th International Conference on Machine Learning (ICML-11). 2011.
Vincent, Pascal, et al. “Extracting and composing robust features with denoising autoencoders.” ICML, 2008.

在这里插入图片描述

Vector Space Model

在这里插入图片描述

搜索图片

直接搜索效果并不好
在这里插入图片描述

Reference: Krizhevsky, Alex, and Geoffrey E. Hinton. “Using very deep autoencoders for content-based image retrieval.” ESANN. 2011.

建立一个auto-encoder
在这里插入图片描述
在code上搜寻
在这里插入图片描述

pre-training

监督学习使用的不多了。
可以用于半监督学习，非标注数据大量的时候。
在这里插入图片描述

Learning More - Restricted Boltzmann Machine

Learning More - Deep Belief Network

auto-encoding 在CNN上

自动编码机
在这里插入图片描述
反池化
在这里插入图片描述
反卷积
在这里插入图片描述
在这里插入图片描述

Arron_hou
关注
专栏目录
16、【李宏毅机器学习（2017）】Unsupervised Learning: Deep Auto-encoder（无监督学习：深度自动编码器）
Jimmyzqb的博客
08-29 4489
本篇博客将介绍无监督学习算法中的 Deep Auto-encoder。 目录 Deep Auto-encoder Deep Auto-encoder的降维作用 Auto-encoder – Text Retrieval Auto- encoder for CNN Auto-encoder – Pre-training DNN Decoder Deep Auto-encode...
李宏毅机器学习Lecture 16 Unsupervised Learning - Auto-encoder 课程笔记
weixin_41112167的博客
09-21 871
李宏毅机器学习Lecture 16 Unsupervised Learning - Auto-encoder 课程笔记auto-encoderstarting from PCAdeep auto-encoder如何改变文本的样式插入链接与图片创建一个自定义列表如何创建一个注脚KaTeX数学公式 视频地址： https://www.youtube.com/watch?v=Tk5B4seA-AU 首先...
李宏毅机器学习——学习笔记（15） Unsupervised Learning—Auto encoder
m0_37757740的博客
04-07 740
Auto-encoder 1.encode：将原来高维sample encode成低维的code，再将code尽量decode成原来的sample。 2.deep auto-encoder只是将层数加深。auto encode的construction error不是重点，重点是code表示的有多好。 3. De-noising auto-encoder：在原来的sample上加入噪声数据，但...
李宏毅深度学习 笔记（七）Auto-encoder
weixin_50556981的博客
01-01 308
机器学习 -- Unsupervised Learning: Deep Auto-encoder
01-30
Unsupervised Learning: Deep Auto-encoder Auto-encoder Deep Auto-encoder Auto-encoder – Text Retrieval Auto-encoder – Similar Image Search Auto-encoder for CNN CNN -Unpooling CNN - Deconvolution
李宏毅-DeepLearning-2017-Unsupervised Learning:Deep Auto-encoder
zjguilai的博客
05-22 369
Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。 auto-encoder就是比PCA多加了几个Hidden layer 结果对比： auto-encoder的结果较...
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder
guoxinxin0605的博客
08-14 370
2021李宏毅机器学习笔记--19 unsupervised learning--Deep Auto-encoder摘要一、Auto-encoder简介二、与PCA的联系三、Deep Auto-encoder四、应用4.1、Text Retrieval文本检索4.2、Similar Image Search相似图像搜索4.3、Pre-training DNN4.4、CNN as Encoder4.4.1、去池化层(Unpooling)4.4.2、去卷积层(Deconvolution)4.5、 Auto
李宏毅机器学习27—Unsupervised learning auto-encoder
weixin_57178683的博客
07-04 314
上节课讲了auto-encoder， Auto-encoder主要包含一个编码器（Encoder）和一个解码器（Decoder）。Encoder接收一张图像，输出一个vector，上节课中称他为code，也可以叫它Embedding、Latent Representation或Latent code，这个vector是关于输入图像的表示；然后将vector输入到Decoder中就可以得到重建后的图像，我们希望输出图像和输入图像越接近越好，这个方法叫做reconstruction error。 这节课更深入的
2021李宏毅机器学习笔记--18Unsupervised Learning -- Neighbor Embedding
guoxinxin0605的博客
08-07 545
2021李宏毅机器学习笔记--18 Unsupervised Learning -- Neighbor Embedding 摘要一、Manifold Learning(流形学习)二、Locally Linear Embedding(LLE,局部线性嵌入)三、Laplacian Eigenmaps(拉普拉斯特征映射)3.1 简介二级目录二级目录四、总结二级目录三级目录 摘要 wijw_{ij}wij​ wiw^iwi 本节是进行非线性降维的一些算法。包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随
李宏毅教授ML-2022Spring-HW1-SampleCode-TrainingData
01-17
在信息技术领域，机器学习（Machine Learning, ML）作为一门关键的子领域，一直在推动着人工智能的发展。2022年春季，台湾大学的李宏毅教授开设了一门面向深度学习（Deep Learning）和机器学习的课程，旨在让学生...
李宏毅机器学习——学习笔记（14） Unsupervised Learning-Neighbor Embedding
m0_37757740的博客
04-05 524
Manifold Learning （流型学习）：将流型空间降维后，可以直接用普通方法进行邻居embedding。 Locally Linear Embedding（LLE）：运用样本x邻居的线性组合来表示样本x，样本x降维后所形成的z仍然基于原来的权重，用邻居的线性组合来表示。 首先在原来的空间中找到w，在降维以后的空间中，固定住w，找出一组z，最小化邻居表示样本的误差。 这个方法比较重要...
Unsupervised Learning: Deep Auto-encoder
sun_sunnybei的博客
01-12 570
Auto-encoder 它的思想是，找一个encoder，比如input一张image，经过encoder，output一个code，它的维度要远比input小，那这个code就代表了这个input某种精简的有效的representation。 但是现在问题是非监督的，我们可以找到一堆input但是不知道output是什么，那我们可以先learn一个decoder，它可以input一
李宏毅学习笔记25.Unsupervised Learning.03: Deep Auto-encoder
老毛的博客
01-17 799
文章目录Auto-encoderStarting from PCADeep Auto-encoderPokemonAuto-encoder-Text RetrievalAuto-encoder-Similar Image SearchPre-training DNNDe-noising auto-encoderAuto-encoder for CNNCNN-UnpoolingCNN-Deconvo...
8.5-无监督学习-深度自编码器
weixin_46227276的博客
12-31 1852
自动编码器的想法是这样子的：我们先去找一个encoder，这个encoder input一个东西(假如说，我们来做NMIST的话，就是input一张digit，它是784维的vector)，这个encoder可能就是一个neural network，它的output就是code(这个code远比784维要小的，类似压缩的效果)，这个coder代表了原来input一张image compact representation。但是现在问题是：我们现在做的是Unsupervised learning，你可以找到一
李宏毅老师课程：Unsupervised Learning：Auto-encoder
APythonC的博客
09-10 480
无监督学习：自动编码器IntroductionRecap: PCADeep Auto-encoderStructurePCA vs Deep Auto-encoderText Retrieval（文字检索）Similar Image SearchPre-training DNNDe-noising auto-encoder（去噪自动编码器）Auto-encoder for CNNCNN - UnpoolingDeconvolution Introduction Auto-encoder本质上就是一个自我压缩
机器学习 李宏毅 L27-Deep Auto-encoder
okgagaga的博客
02-01 1321
auto-encoder Auto-encoder使用神经网络进行降维。由于这里是无监督学习，因此encoder的训练过程需要采用decoder同时进行训练，如下图所示。这与PCA的过程类似，首先通过输入的图片，乘以矩阵W，得到降维后的数据，然后对于降维数据乘以前述矩阵的转置，可以得到预测的输出图片。 具体的做法如下图，而目前网络的对称性并不是必须的。同时，为了防止NN只是单纯记住输入的
[机器学习入门] 李弘毅机器学习笔记-17（Unsupervised Learning: Deep Auto-encoder；无监督学习：深度自动编码器）
Holeung blog
06-21 2377
[机器学习入门] 李弘毅机器学习笔记-17（Unsupervised Learning: Deep Auto-encoder；无监督学习：深度自动编码器） PDF VIEDOAuto-encoder 什么是-encoder呢? NN Encoder & NN Decoder 要一起训练。 Starting from PCA the auto-encoder can be dee
李宏毅机器学习课程笔记6：Unsupervised Learning - Auto-encoder、PixelRNN、VAE、GAN
热门推荐
徐子尧的博客
04-16 1万+
台湾大学李宏毅老师的机器学习课程是一份非常好的ML/DL入门资料，李宏毅老师将课程录像上传到了YouTube，地址：NTUEE ML 2016 。 这篇文章是学习本课程第16-18课所做的笔记和自己的理解。Lecture 16: Unsupervised Learning - Auto-encoder Auto-encoder在手写数字识别任务中，想训练一个NN encoder，得到图像的精简表达
深度学习论文阅读笔记（三）之深度信念网络DBN
lqfarmer的博客
05-04 1万+
深度神经网络    12.《受限波尔兹曼机简介》 （1）主要内容：主要介绍受限玻尔兹曼机（RBM）的基本模型、学习算法、参数设置、评估方法、变形算法等，探讨了RBM在未来值得研究的方向。 （2）RBM的基本模型和学习算法（描述比较清楚）：对比散度学习算法（Gibbs采样）， （3）RBM参数设置（叙述比较详细）：1）小批量数据处理，将数据集分为既是或者几百个小的数据集。2)学习速率调整：做
AUTO-ENCODER
最新发布
09-05
引用: Auto-encoder是一种深度学习模型，用于将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。在降维方面，PCA会将不同类别的数据混合在一起，而auto-encoder则可以将它们分开。除了降维之外，auto-encoder还有其他用途，比如图片搜索。 引用: 训练一个auto-encoder的过程通常会先固定一些权重参数，然后逐层训练多个自编码器，每个自编码器的输入和输出维度逐渐逼近目标维度。最后，可以使用反向传播来微调网络参数。现在也可以不进行预训练，直接训练auto-encoder。此外，auto-encoder还可以与卷积神经网络（CNN）一起使用。 引用: 特征区分技术是指在auto-encoder中，通过编码器获取的Embedding向量中，可以区分出不同输入数据的特征信息。比如，对于语音输入，可以分别提取出语音内容和说话者的特征。这就是Feature Disentangle的目标。 根据李宏毅老师的讲解，auto-encoder是一种用于降维、重构和特征提取的深度学习模型。它可以将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。除了降维之外，auto-encoder还可以用于图片搜索等任务。训练auto-encoder时，可以使用预训练和微调的方法，也可以直接进行训练。此外，auto-encoder还可以与卷积神经网络（CNN）结合使用。特征区分技术可以用于auto-encoder中，用于提取不同输入数据的特征信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值