深度自解码器（Deep Auto-encoder）

最新推荐文章于 2024-08-24 01:15:00 发布
最新推荐文章于 2024-08-24 01:15:00 发布
阅读量4.7k 收藏 6
点赞数
分类专栏： Deep Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_32690999/article/details/78759435
版权
本文是关于李宏毅教授课程中深度自解码器的学习笔记，涉及PCA的扩展、预训练DNN、去噪自解码器、受限玻尔兹曼机和深度信念网络。自解码器在文本检索和相似图像搜索中有应用，通过预训练提升深度神经网络的性能。此外，还讨论了卷积神经网络中的自解码器和序列到序列自解码器在处理序列数据上的优势。
摘要由CSDN通过智能技术生成

本博客是针对李宏毅教授在youtube上发布的课程视频的学习笔记。

视频地址：ML Lecture 16: Unsupervised Learning - Auto-encoder

Auto-encoder

Encoder and Decoder

Each one of them can’t be trained respectively(no goal or no input), but they can be linked and trained together.

1

Starting from PCA

2

PCA only has one hidden layer, so we can deepen it to Deep Auto-encoder.

3

4

Above is Hinton(2006)’s design of deep auto-encoder, it achieves good result.

picture

Application: Text Retrieval

To compress an article in

最低0.47元/天 解锁文章
蓝色枫魂
关注
专栏目录
机器学习11 -- 无监督学习之Auto-Encoder
谢杨易的博客
09-12 1万+
1 什么是Auto-Encoder 自编码器Auto-Encoder是无监督学习的一种方式，可以用来做降维、特征提取等。它包括两部分 Encoder：对原始样本进行编码 Decoder：对经过编码后的向量，进行解码，从而还原原始样本 如下图所示，对原始图片，先经过Encoder，编码为一个低维向量。然后利用这个低维向量，经过decoder，还原为原始图片。单独训练encoder和decoder，都是无法做到的。但把它们联合起来训练，是可以得到encoder和decoder的。 1.1 deep
深度学习——auto-encoder for document image binarization
weixin_51352656的博客
01-06 339
原论文：A selectional auto-encoder approach for document image binarization 文档图像的二值化就是将图像的每一个像素点置为0或1，以此来区分背景和前景（字符）。
深度自动编码器（Deep Auto-encoder）
热门推荐
one_super_doer的博客
02-06 1万+
深度自动编码器（Deep Auto-encoder） 本文是学习B站上李宏毅老师的机器学习笔记。 Auto-encoder 它做的事情和PCA、t-SNE一样，都是要降维。只是这里用网络结构来降维，降维的网络被称为Encoder，这个Encoder就是很多个隐层网络的网络结构，输入一张图片后会输出降维以后的结果。这个结果比PCA的结果复杂是因为它不是一个线性的东西。 通用有一个Decode...
Deep auto decoder
weixin_43654661的博客
11-25 241
什么事自动编码？看一张图： 解释就是将高维数据乘以一个参数矩阵（WWW）后边长一个低维code，叫做encode过程；然后将这个code乘以另一个参数矩阵（WTW^TWT）变回高维数据，即为decode；尽量使输入数据和输出数据相似。 我们发现这个模型和我们的神经网络很相似，和PCA降维也很相似。 在MNIST测试集上试一下： # encoding=utf-8 import keras imp...
【有啥问啥】自编码器（Autoencoder, AE）：深入理解与应用
最新发布
Chauvin的博客
08-24 1970
自编码器（Autoencoder, AE）是一种通过无监督学习方式来学习数据有效表示的神经网络模型。其核心思想是通过编码器将输入数据压缩成低维潜在表示，然后通过解码器从该表示中重构出原始输入数据。自编码器在数据降维、特征提取、数据去噪、异常检测以及生成模型等领域均展现出卓越的性能。本文将深入探讨自编码器的原理、结构、变体、应用场景、实践案例和面临的挑战与机遇。
深度学习（4）
GL_a_的博客
06-24 631
九、Deep Learning的常用模型或者方法 9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点，人工神经网络（ANN）本身就是具有层次结构的系统，如果给定一个神经网络，我们假设其输出与输入是相同的，然后训练调整其参数，得到每一层中的权重。自然地，我们就得到了输入I的几种不同表示（每一层代表一种表示），这些表示就是特征。自动
H2O学习笔记（五）——Deep Autoencoders
Yaphat的博客
10-26 3221
先前的部分介绍了监督Deep Learning内容，Deep Learning 也可以用作非监督特征学习，尤其是在非线性降维方面。Deep AutoencodersDeep Autoencoders的原理可以看UFLDL的教程例子：Anomaly Detection#Import ECG train and test data into the H2O cluster from h2o.estima
深度自动编码降维技术 Deep Auto-encoder
qq_45737639的博客
02-29 2180
上一章介绍了非线性降维T-NSE 技术因为T-NSE 技术在数据较多的时候运算速度会慢，在做数据可视化的时候会用的比较多，其核心思想就是把原本sne只能辨识在高维空间上相近的点映射到低维空间上仍然接近，但是当在高维空间上距离相距较远的时候映射的低维空间上便不好分辨了。由此当把sne 放到 t 分布上时就实现了距离相近的仍然相似，距离远的在低维空间上也会被分的很清晰。 ...
深度自动编码器：带有深度的表示学习
AI天才研究院
01-02 598
1.背景介绍 深度学习在近年来成为人工智能领域的一个热门话题，其中深度自动编码器(Deep Autoencoders, DA)作为一种常见的无监督学习方法，在图像处理、文本压缩和其他领域取得了显著的成果。本文将详细介绍深度自动编码器的核心概念、算法原理、实例代码和未来发展趋势。 1.1 深度学习与自动编码 深度学习是一种通过多层神经网络学习表示的方法，它可以自动学习特征，从而实现对复杂数据的...
contractive auto-encoder
08-30
### 合约自编码器（Contractive Auto-Encoder） #### 概述 合约自编码器是一种在深度学习领域中用于无监督特征学习的模型。它通过添加一个特别设计的惩罚项来改善传统自编码器的表现，这个惩罚项是编码器激活相...
机器学习18：自编码器Auto-encoder
qqqinrui的博客
04-17 1059
一、Auto-encoder 通过重建输入得到一个低维空间的code 二、Deep Auto-encoder 输入从高维映射到低维再到高维。可以约束对应的encoder和decoder层的参数互为逆变换，即W1与W1^T对应，但一般没有必要约束，直接train就行。 在手写数字辨识中，Deep Auto-encoder比PCA重构的结果好，数据映射到低维空间区分度也更高。 三...
门控PixelCNN解码器生成图像Conditional-PixelCNN-decoder.zip
07-19
这是使用 PixelCNN 解码器生成条件图像的 Tensorflow 实现，其引入了最初在像素周期性神经网络中提及的基于 PixelCNN 架构的门控 PixelCNN 模型。该模型可以基于标签或图像的潜在表示来相应地生成图像。图像也可以无条件地建模。它也可以作为一个强大的解码器，并可以在自动编码器和 GANs 中取代反卷积（转置卷积）。这篇文章的详细摘要可以在这里找到。示例：架构：这是模型中使用的 Gated PixelCNN 的架构： 标签：Conditional
Deep AutoEncoder 和 CDL代码
serenysdfg的博客
02-28 427
Training Deep AutoEncoders for Collaborative Filtering 2017 Deep AutoEncoder 核心思想是希望能通过反向传播训练网络最小化输入和输出的误差，从而完成对未知的电影进行预估。 import warnings warnings.filterwarnings('ignore') import numpy as np impor...
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 491
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
DIP:《Deep Decoder: Concise Image Representation from Untrained Non-convolut》文献阅读与总结
Liu Feng's Blog
08-10 393
ICLR 2019工作 Deep Decoder只使用Encoder-Decoder结构中的Decoder进行探索对DIP的影响，分析了DIP结构对高频噪声的屏蔽效果，同时分析了使用欠参数网络模型对图片进行构造是可行的，一定程度上可以解决DIP训练效率低的问题。同时欠参数化的模型对于early stopping的需求没有那么强了，可以一定程度上解决DIP固有的这个问题。
2020李宏毅机器学习笔记——21. Unsupervised Learning-Deep Auto-encoder(无监督学习之自编码器)
weixin_44790306的博客
08-15 947
摘要： 本章主要是关于自编码器的原理及其应用，自编码器是一种无监督学习方法，可用于数据降维及特征抽取。自编码器由编码器（Encoder）和解码器（Decoder）两部分组成。编码器通常对输入对象进行压缩表示，解码器对经压缩表示后的code进行解码重构。 并介绍Auto文章目录1. 自编码器（Auto-encoder） 1. 自编码器（Auto-encoder） ...
DeepCoder 解读
梦Dancing的博客
04-06 1833
一、想解决的问题 构建可以编写计算机程序的系统，生成人类可读的源代码。 二、提出的idea 1. 定义一个DSL(domain specific language)。等同于图灵完备的极小编程语言。DSL中只有少数基本原语，原语组合可以实现各种功能。用于缩小搜索空间。 2. 采用神经网络训练，预测程序段。例如，input是无序的数组，output是有序的数组。那Deepcoder会被训...
无监督学习：Deep Auto-encoder（深度自动编码器）
dfql83704的博客
08-11 486
一 Auto-encoder NN Encoder & NN Decoder 要一起训练。 二 Starting from PCA 三 Deep Auto-encoder PCA&Deep Auto-encoder 比较，明显后者效果更好。 当code为二维时，很明显看到Deep Auto-encoder使数字手写识别集分类地更好。 ...
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly D
weixin_36670529的博客
06-21 4448
摘要 深度自编码在异常检测中得到了广泛的应用。通过对正常数据的训练，期望自编码器对异常输入产生比正常输入更高的重构误差，以此作为识别异常的判据。然而，这一假设在实践中并不总是成立。有人观察到，有时自动编码器“概括”得很好，也能很好地重建异常，导致异常的漏检。为了减轻基于自编码器的异常检测的这个缺点，我们建议使用内存模块来增加自编码器，并开发一种改进的自编码器，称为内存增强自编码器，即MemAE。......
AUTO-ENCODER
09-05
引用: Auto-encoder是一种深度学习模型，用于将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。在降维方面，PCA会将不同类别的数据混合在一起，而auto-encoder则可以将它们分开。除了降维之外，auto-encoder还有其他用途，比如图片搜索。 引用: 训练一个auto-encoder的过程通常会先固定一些权重参数，然后逐层训练多个自编码器，每个自编码器的输入和输出维度逐渐逼近目标维度。最后，可以使用反向传播来微调网络参数。现在也可以不进行预训练，直接训练auto-encoder。此外，auto-encoder还可以与卷积神经网络（CNN）一起使用。 引用: 特征区分技术是指在auto-encoder中，通过编码器获取的Embedding向量中，可以区分出不同输入数据的特征信息。比如，对于语音输入，可以分别提取出语音内容和说话者的特征。这就是Feature Disentangle的目标。 根据李宏毅老师的讲解，auto-encoder是一种用于降维、重构和特征提取的深度学习模型。它可以将输入数据编码为低维表示，并尽可能地重构原始数据作为输出。除了降维之外，auto-encoder还可以用于图片搜索等任务。训练auto-encoder时，可以使用预训练和微调的方法，也可以直接进行训练。此外，auto-encoder还可以与卷积神经网络（CNN）结合使用。特征区分技术可以用于auto-encoder中，用于提取不同输入数据的特征信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值