Pytorch Note43 自动编码器(Autoencoder)

最新推荐文章于 2022-01-15 22:40:25 发布
最新推荐文章于 2022-01-15 22:40:25 发布
阅读量2.4k 收藏 2
点赞数 6
分类专栏： 🪐Pytorch学习 快乐星球 文章标签： 神经网络 可视化 卷积 深度学习 自动编码器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45508265/article/details/119582615
版权

Pytorch Note43 自动编码器(Autoencoder)

文章目录


全部笔记的汇总贴： Pytorch Note 快乐星球

自动编码器

自动编码器最开始是作为一种数据压缩方法，同时还可以在卷积网络中进行逐层预训练，但是随后更多结构复杂的网络，比如 resnet 的出现使得我们能够训练任意深度的网络，自动编码器就不再使用在这个方面，下面我们讲一讲自动编码器的一个新的应用，这是随着生成对抗模型而出现的，就是使用自动编码器生成数据。

其特点有:
(1）跟数据相关程度很高，这意味着自动编码器只能压缩与训练数据相似的数据.因为使用神经网络提取的特征一般是高度相关于原始的训练集，使用人脸训练出来的自动编码器在压缩自然界动物的图片时表现就会比较差，因为它只学习到了人脸的特征,而没有学习到自然界图片的特征。
(2）压缩后数据是有损的，这是因为在降维的过程中不可避免地要丢失信息。到了2012年,人们发现在卷积神经网络中使用自动编码器做逐层预训练可以训练更深层的网络，但是人们很快发现，良好的初始化策略要比复杂的逐层预训练有效得多，2014年出现的 Batch Normalization技术也使得更深的网络能够被有效训练，到了2015年年底，通过残差（ResNet)基本可以训练任意深度的神经网络。
所以现在自动编码器主要应用在两个方面:第一是数据去噪，第二是进行可视化降维。自动编码器还有一个功能,即生成数据。

自动编码器的一般结构如下

了解本专栏 订阅专栏 解锁全文 超级会员免费看
风信子的猫Redamancy
关注
  • 6
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
【阅读笔记】AutoEncoder by Forest+Deep Forest+Ladder Networks+PU learning
SrdLaplace的博客
08-19 1505
这周看的文章，感觉都还挺有意思，但是实用价值一般，就简要的存个档。 前两篇时周志华的深度森林3弹的前两弹，第三弹以前介绍过，我也是跟风读了读，毕竟周志华知名度还是比较高的，感觉还是挺有想法的，但是距离实用还是有一些距离。总体而言，第一篇借鉴神经网络多层的想法，然随机森林也搞成多层，每层也做表征学习。第二篇是自编码，用最大兼容规则（MCR）重构出原图。第三篇是借鉴反向传播，构造逆函数，把误差传回去...
AutoEncoder的PyTorch实现
mathor的博客
02-23 6551
之前的文章叙述了AutoEncoder的原理，这篇文章主要侧重于用PyTorch实现AutoEncoder AutoEncoder 其实AutoEncoder就是非常简单的DNN。在encoder中神经元随着层数的增加逐渐变少，也就是降维的过程。而在decoder中神经元随着层数的增加逐渐变多，也就是升维的过程 class AE(nn.Module): def __init__(self)...
ResNet的Keras实现
01-22
VGGNet和GoogLeNet等网络都表明有足够的深度是模型表现良好的前提，但是在网络深度增加到一定程度时，更深的网络意味着更高的训练误差。误差升高的原因是网络越深，梯度弥散[还有梯度爆炸的可能性]的现象就越明显，所以在后向传播的时候，无法有效的把梯度更新到前面的网络层，靠前的网络层参数无法更新，导致训练和测试效果变差。所以ResNet面临的问题是怎样在增加网络深度的情况下有可以有效解决梯度消失的问题。ResNet中解决深层网络梯度消失的问题的核心结构是残差网络。
【DL笔记】AutoEncoder详解（一）
roguesir的博客
08-22 1万+
前言 AutoEncoder是深度学习的另外一个重要内容，并且非常有意思，神经网络通过大量数据集，进行end-to-end的训练，不断提高其准确率，而AutoEncoder通过设计encode和decode过程使输入和输出越来越接近，是一种无监督学习过程。 AutoEncoder Introduction AutoEncoder包括两个过程：encode和decode，输入图片通过enco...
机器学习思考题目——15自编码器（Autoencoders）
南瓜派三蔬
03-14 2314
本文直译自《hands on ML》课后题。（有改动的以【】表示）。 1.自动编码器的主要任务是什么？ （a）特征提取（feature extraction）。 （b）无监督预训练（unsupervised pretraining）。 （c）降维 （d）生成模型（Generative models） （e）异常检测（Anomaly detection，an autoencoder is gener...
Deep Learning（深度学习）学习笔记整理系列之（四）
热门推荐
zouxy09的专栏
04-09 32万+
Deep Learning（深度学习）学习笔记整理系列 zouxy09@qq.com http://blog.csdn.net/zouxy09 作者：Zouxy version 1.0 2013-04-08 声明： 1）该Deep Learning的学习系列是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。 2）本文仅供学
torch实现自编码器-Pytorch卷积自动编码器
04-19
torch 实现自编码器-Pytorch 卷积自动编码器 在深度学习和机器学习领域中，自编码器（Autoencoder）是一种常用的神经网络模型，用于学习输入数据的representation。Pytorch 是一个流行的深度学习框架，today 我们将...
基于PyTorch的图自动编码器示例.zip
09-18
图自动编码器（Graph Autoencoder, GAE）是其中的一种，它结合了图神经网络和自动编码器的概念，用于对图数据进行降维表示和重构。本示例将介绍如何在PyTorch框架下实现一个简单的图自动编码器。 首先，让我们理解...
Pytorch变分自动编码器vae代码.zip
08-13
Pytorch变分自动编码器vae代码.
自动编码器autoencoder-python源码.zip
最新发布
05-02
自动编码器（Autoencoder）是一种无监督学习方法，主要用于数据降维、特征提取以及生成与输入数据相似的新数据。在机器学习领域，它已经成为一种重要的工具，尤其在深度学习中，由于其强大的非线性表示能力，常被...
深度学习：自编码器AutoEncoder
poppy
01-15 1496
自编码器——AE 自编码器是一种利用反向传播算法使得输出值等于输入值的神经网络，借助稀疏编码的思想（将输入压缩成潜在空间表征），使用稀疏的一些高阶特征重新组合来重构输出。 自编码器两个部分：输入到隐层编码和隐层到输出解码 自编码器作用 实现非线性降维，只要设定输出层中神经元个数小于输入层中神经元的个数就可以对数据集进行降维。 如果将输出层的神经元个数设置为大于输入层神经元个数，然后在损失函数 构造上加入正则化项进行系数约束，就构成稀疏自编码器。 利用自编码器来进行神经网络预训练。对于深层网络，通过随机初始化
自动编码器（pytorch）
shaodongheng的博客
07-14 3252
文章目录介绍代码卷积自动编码器 参考《深度学习入门之Pytorch》 介绍 自动编码器最开始是作为一种数据压缩方法，同时还可以在卷积网络中进行逐层预训练，但是随后更多结构复杂的网络，比如 resnet 的出现使得我们能够训练任意深度的网络，自动编码器就不再使用在这个方面，下面我们讲一讲自动编码器的一个新的应用，这是随着生成对抗模型而出现的，就是使用自动编码器生成数据。 由上面的图片，我们能够看到，第一部分是编码器(encoder)，第二部分是解码器(decoder)，编码器和解码器都可以是任意的模型，通常
pytorch——实现自编码器和变分自编码器
Mr_Wanderer的博客
08-18 4197
文章目录数据降维主成分分析（PCA）自编码器（AE）变分自编码器（VAE）pytorch实现AE实现自编码器网络结构实现AE对MNIST数据集的处理VAE实现变分自编码器网络结构实现VAE对MNIST数据集的处理 本文只设计简单的介绍和pytorch实现，数学原理部分请移步知乎“不刷知乎”大佬的文章：半小时理解变分自编码器 本文部分观点引自上述知乎文章。 数据降维 降维是减少描述数据的特征数量的过程。可以通过选择（仅保留一些现有特征）或通过提取（基于旧特征组合来生成数量更少的新特征）来进行降维。降维在许多需
Pytorch学习笔记【14】：自编码（autoencoder）
qq_36499794的博客
11-20 551
一. 什么是自编码 自编码是什么呢？就是说假如我们需要训练的数据量非常大，那么 神经网络的压力是很大的，所以我们可以 将其压缩一下，再解压，通过对比解压之后的和原来的 数据，反向传播去训练，训练好之后，我们再需要 用到这批数据，就 只需用压缩之后的数据即可，这样就大大减小了神经网络的训练压力，增加了训练效率。看下图就明白了： ...
pytorch 自动编码器
xckkcxxck的博客
10-11 1759
这里主要使用自动编码器实现生成数据，以MNIST数据为例。 # -*- coding: utf-8 -*- """ Created on Thu Oct 11 20:34:33 2018 @author: www """ import os import torch from torch.autograd import Variable from torch import nn from...
卷积自编码器（Convolutional Autoencoder）的一个实验
庆志的小徒弟
05-09 1万+
1、卷积自编码器（CAE）的简单介绍 卷积自编码器是自编码器方法的一种延伸，自编码器包括编码和解码，通过将输入的图像进行编码，特征映射到隐层空间，然后解码器对隐层空间的特征进行解码（重建的过程）获得输入的重建样本。自编码一般使用NN网络做编码和解码器，卷积自编码器利用卷积网络对图像特征抽取和表示的优异性能，来代替自编码器的NN网络。 当然，很多人也使用MNIST等数据集，使用CAE做图像去噪等...
pytorch 实现变分自动编码器
xckkcxxck的博客
10-12 3490
本来以为自动编码器是很简单的东西，但是也是看了好多资料仍然不太懂它的原理。先把代码记录下来，有时间好好研究。 这个例子是用MNIST数据集生成为例子。 # -*- coding: utf-8 -*- """ Created on Fri Oct 12 11:42:19 2018 @author: www """ import os import torch from torch.aut...
PyTorch常见的坑汇总
AI蜗牛车
02-14 723
作者：知乎—郁振波地址：https://www.zhihu.com/people/su-po-moon最近刚开始用pytorch不久，陆陆续续踩了不少坑，记录一下，个人感觉应该都是一些很容...
pytorch + visdom AutoEncode 和 VAE(Variational Autoencoder) 处理 手写数字数据集（MNIST）
泛泛之素
01-17 6278
环境 系统：win10 cpu：i7-6700HQ gpu：gtx965m python : 3.6 pytorch ：0.3 数据 使用 mnist，使用方法前面文章有。 train_dataset = datasets.MNIST('./mnist', True, transforms.ToTensor(), download=False)
pytorch 卷积自动编码器
08-12
引用中提到了一个基于PyTorch的卷积自动编码器的实现。这个自动编码器模型使用了卷积层、最大池化层、上采样层和激活函数作为主要组成部分。代码如下: ```python class AutoEncoder2(torch.nn.Module): def __init__(self): super(AutoEncoder2, self).__init__() self.encoder = torch.nn.Sequential( torch.nn.Conv2d(1, 64, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2, stride=2), torch.nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.MaxPool2d(kernel_size=2, stride=2) ) self.decoder = torch.nn.Sequential( torch.nn.Upsample(scale_factor=2, mode='nearest'), torch.nn.Conv2d(128, 64, kernel_size=3, stride=1, padding=1), torch.nn.ReLU(), torch.nn.Upsample(scale_factor=2, mode='nearest'), torch.nn.Conv2d(64, 1, kernel_size=3, stride=1, padding=1) ) def forward(self, input): output = self.encoder(input) output = self.decoder(output) return output ``` 这个模型的编码部分由两个卷积层和最大池化层组成，用于提取输入数据的核心特征。解码部分由两个上采样层和卷积层组成，用于实现数据的重构。整个模型的作用是对输入数据进行清洗，如去除噪声数据、增强关键特征等。通过实例化这个模型并调用`forward`方法，可以对输入数据进行自动编码的处理。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [Pytorch基础-07-自动编码器](https://blog.csdn.net/Galen_xia/article/details/109593783)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

风信子的猫Redamancy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值