李宏毅2020ML——P58 自动编码器

最新推荐文章于 2024-03-06 16:03:13 发布
最新推荐文章于 2024-03-06 16:03:13 发布
阅读量287 收藏 1
点赞数
分类专栏： 李宏毅2020ML 文章标签： 人工智能 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/115111718
版权

自编码器

introduce

在这里插入图片描述
与PCA对比
在这里插入图片描述
can deep
在这里插入图片描述
效果对比
在这里插入图片描述
二维可视化
在这里插入图片描述

application

text retrieval

before

在这里插入图片描述

auto-encoder——text retrieval

在这里插入图片描述

Similar Image Search

相似图片搜索
在这里插入图片描述
在这里插入图片描述
好处在于：

1.Auto-encoder可以通过降维提取出一张图像中最有用的特征信息，包括pixel与pixel之间的关系

2.降维之后数据的size变小了，这意味着模型所需的参数也变少了，同样的数据量对参数更少的模型来说，可以训练出更精确的结果，一定程度上避免了过拟合的发生

3.Auto-encoder是一个无监督学习的方法，数据不需要人工打上标签，这意味着我们只需简单处理就可以获得大量的可用数据

Pre-training DNN

去做预训练
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
找到参数初始值
在这里插入图片描述

for CNN

auto-encoder as CNN
在这里插入图片描述
unpooling
在这里插入图片描述
deconvolution
在这里插入图片描述

Other Auto-encoder

De-noising auto-encoder

在这里插入图片描述

generation

生成图片
在这里插入图片描述
正则化
在这里插入图片描述

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
李宏毅 2020 ML Homework 2 - Classification
[datawhale202210]李宏毅机器学习2021：自编码器
qq_40990057的博客
10-10 1258
本次task了解了自编码器的原理。自编码器可以视为是一种自监督学习，由三个主要部分组成，encoder，中间的embedding向量，和decoder。自编码器的的核心思想是化繁为简。常将中间的embedding向量作为后续任务的输入。 自编码器的常见变体包括，de-noising auto-encoder，前面加噪声，要求decoder还原出加噪声前的状态，可以类比BERTmask掉词的用途。Feature disentanglement，特征解构，使得特征具有具体意义。Discrete Latent
【李宏毅机器学习】自编码器auto-encoder
发现问题，并解决问题，批判性思维
10-10 2863
auto encoder是一个基本的生成模型，以encoder-decoder的架构进行先编码（如将图像压缩成更低维度向量），再解码（如将刚才的低维向量还原为图像），并且还原出的图像和原图像越接近越好，reconstruction error。常见的transformer模型就是这种auto-encoder模型（其实FCN的卷积和反卷积也是这样）。
【深度学习】NLP之Transformer (1) Encoder
littlemichelle
04-04 2330
The Illustrated Transformer – Jay Alammar – Visualizing machine learning one concept at a time. 在机器翻译的任务中，使用RNN会造成梯度消失和长句子传递信息缺失的问题。LSTM只能缓解，如果想要进一步提升，就引入了Transformer。这里的新思想是不用RNN来做机器翻译。 ...
机器学习-23-Unsupervised Learning-07-Deep Auto-encoder(无监督学习之自编码器)
迷雾总会解
12-29 636
文章目录Unsupervised Learning: Deep Auto-encoderIntroductionCompare with PCADeep Auto-encoderMulti LayerVisualizeText RetrievalBag-of-wordAuto-encoderSimilar Image SearchPre-training DNNCNNCNN as EncoderUnpoolingDeconvolutionOther Auto-encoderDe-noising Auto-e
深度自动编码器（Deep Auto-encoder）
one_super_doer的博客
02-06 1万+
深度自动编码器（Deep Auto-encoder） 本文是学习B站上李宏毅老师的机器学习笔记。 Auto-encoder 它做的事情和PCA、t-SNE一样，都是要降维。只是这里用网络结构来降维，降维的网络被称为Encoder，这个Encoder就是很多个隐层网络的网络结构，输入一张图片后会输出降维以后的结果。这个结果比PCA的结果复杂是因为它不是一个线性的东西。 通用有一个Decode...
【深度学习】生成模型：VAE(自编码器)模型解析
热门推荐
sxl的博客
10-08 1万+
本文为自己自学内容的记录，其中多有借鉴别人博客的地方，一并在在参考文献中给出链接，其中大部分截图来自李宏毅深度学习PPT课件。本文前置知识高斯混合模型和EM算法，如果不了解这两种算法直接看VAE模型会有理解上的障碍。其实那么多数学公式推导，我自己都有点晕，但是本质上就是用自编码器去产生很多高斯分布，去拟合样本的分布，然后某个x对应的高斯分布里采样z，然后复原成x，跟GAN区别就是这个是完全去模仿分布，只能生成数据中已有的图片，很难创造新的图片，最多也就是插值图片了。
2020李宏毅机器学习笔记——21. Unsupervised Learning-Deep Auto-encoder(无监督学习之自编码器)
weixin_44790306的博客
08-15 629
摘要： 本章主要是关于自编码器的原理及其应用，自编码器是一种无监督学习方法，可用于数据降维及特征抽取。自编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器通常对输入对象进行压缩表示，解码器对经压缩表示后的code进行解码重构。 并介绍Auto文章目录1. 自编码器（Auto-encoder） 1. 自编码器（Auto-encoder） ...
8.5-无监督学习-深度自编码器
weixin_46227276的博客
12-31 1570
自动编码器的想法是这样子的：我们先去找一个encoder，这个encoder input一个东西(假如说，我们来做NMIST的话，就是input一张digit，它是784维的vector)，这个encoder可能就是一个neural network，它的output就是code(这个code远比784维要小的，类似压缩的效果)，这个coder代表了原来input一张image compact representation。但是现在问题是：我们现在做的是Unsupervised learning，你可以找到一
深度学习（4）
GL_a_的博客
06-24 580
九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载...
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
回归-PM2.5预测（李宏毅）
MLDL:李宏毅2020深度学习笔记（自用）
04-09
MLDL 研究生预备知识学习笔记，包含李宏毅深度学习与数字图像处理。 深度学习笔记在基础上添加自己的理解，纯自用。 MLDnotes 深度学习笔记 papernotes 论文笔记与相关知识 plans 每日计划
李宏毅机器学习（八）自编码器（Auto-encoder）
qq_35222729的博客
08-11 1169
前情提要 什么自监督学习？ 你必须想一些不需要标注资料的任务，比如做填空题，比如预测下一个任务！
【机器学习】李宏毅——AE自编码器(Auto-encoder)
FavoriteStar的博客
09-18 3303
本文详细地讲解了什么是AE自编码器(Auto-encoder)，对其内部的原理和各种应用场景进行了叙述。
详解深度学习中编码器（Encoder）和解码器（Decoder）层
最新发布
qq_23865133的博客
03-06 3795
在深度学习中，编码器（Encoder）和解码器（Decoder）层是构成序列到序列（Seq2Seq）模型的两个主要组件，广泛应用于自然语言处理（NLP）任务中，如机器翻译、文本摘要、问答系统等。这些层的设计使得模型能够处理输入序列并产生相应的输出序列，即从一个域（如源语言文本）到另一个域（如目标语言文本）的转换。
深度学习方法（八）：自然语言处理中的Encoder-Decoder模型，基本Sequence to Sequence模型...
weixin_30341735的博客
01-19 942
欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。 Encoder-Decoder（编码-解码）是深度学习中非常常见的一个模型框架，比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的；比如这两年比较热的image caption的应用，就是...
Auto-encoder（自编码器）的原理及最新的技术应用（李宏毅视频课整理和总结）
双鸭山•克里菲斯•北方孤星之堕
08-20 5771
文章目录0 前言1 Auto-encoder1.1 PCA1.2 Deep Auto-encoder2 Some Applications2.1 Text Retrieval（文字检索）2.2 Similar Image Search（相似图片搜索）2.3 Pre-training（预训练）3 De-noising Auto-encoder（加噪的自编码器）4 Auto-encoder for CNN4.1 Unpooling（反池化）4.2 Deconvolution（反卷积）4.3 Generate I
李宏毅2020机器学习笔记attention
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值