自编码器（auto-encoder）

最新推荐文章于 2024-04-28 22:40:24 发布
最新推荐文章于 2024-04-28 22:40:24 发布
阅读量735 收藏 1
点赞数
分类专栏： 机器学习—李宏毅 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39848541/article/details/127134796
版权

Auto-Encoder

self-supervised learning Framework

在这里插入图片描述

已知大量无标注数据，使用不需要标注数据的任务去预训练模型，进行微调再将其应用在下游任务中

basic idea of auto-encoder

在这里插入图片描述

encoder读入一张图片并将其变成一个vector，作为decoder的输入产生一张图片
训练目标:encoder输入和decoder输出越接近越好

more dimension reduction：PCA；t-SNE

why auto-encoder

由于图片的变化是有限的，因此可以用更低维度的变化情况去表示有限的变化
在这里插入图片描述

De-noising Auto-encoder

在这里插入图片描述类比于BERT——de-noising auto-encoder
在这里插入图片描述

feature disentanglement

解耦:disentanglement 一句话概括就是:解耦的特征中,每一个维度都表示具体的、不相干的意义
在这里插入图片描述 feature disentangle就是想要知道中间生成的vector中哪些维度表示某些信息
在这里插入图片描述应用——voice conversion（领结变声器）
在这里插入图片描述

经过encoder之后的vector将内容与语音模式维度分开再拼接

discrete latent Representation

经过encoder得到的vector与codebook中的vector计算相似度，并使用最相似的vector经过decoder生成
如在语言识别中应用：codebook中可以学习到最基本的发音音标，每个vector对应一个音标
在这里插入图片描述
摘要生成
auto-encoder+GAN ——>cycle GAN在这里插入图片描述在这里插入图片描述效果如下：
在这里插入图片描述
在这里插入图片描述

more application

generator

在这里插入图片描述
在这里插入图片描述异常检测：输入X判断与训练数据相比是否正常
在这里插入图片描述在这里插入图片描述在这里插入图片描述

静妮子i
关注
专栏目录
自编码器
且慢
09-11 661
自编码器 文章目录自编码器简介特点应用结构分层训练方法香草自编码器栈式自编码器1.捆绑权重2.一次训练一个自编码器3.进行无监督预训练去噪自编码器 简介 神经网络就是一种特殊的自编码器，区别在于自编码器的输出和输入是相同的，是一个自监督的过程，通过训练自编码器，得到每一层中的权重参数，自然地我们就得到了输入x的不同的表示（每一层代表一种）这些就是特征，自动编码器就是一种尽可能复现原数据的神经网络。 自编码器通过简单地学习将输入复制到输出来工作。这一任务（就是输入训练数据， 再输出训练数据的任务）听起来似乎微
pytorch深度学习：自编码器Auto-encoder（二）
qq_37333048的博客
12-12 1085
上一节我们了解了自编码器的基础知识，这一节我们在pytorch上创建一个自编码器用于处理mnist数据集。 1.问题的描述 关于mnist数据集在这里就不再描述了，相信大家已经很熟悉了。今天使用自编码器有两个目的，即： 使用encoder显示压缩的特征数据。 使用decoder生成mnist数据集。 先对一些超参数进行设置： # 定义一些超参数 EPOCH = 10 BATCH_SIZE = 64 LR = 0.005 DOWNLOAD_MNIST = True # 下过数据的话, 就可以设置成 F
自动编码器
Lost_The_Mind的博客
09-19 2915
在本文中，我们将研究自动编码器。本文介绍了自动编码器的数学和基本概念。我们将讨论它们是什么，限制是什么，典型用例，并将查看一些示例。我们将从对自动编码器的一般介绍开始，我们将讨论激活函数在输出层和损失函数的作用。然后我们将讨论什么是重构误差。最后，我们将研究典型的应用，如降维、分类、去噪和异常检测。神经网络通常用于监督环境。这意味着对于每个训练观察xi，我们将有一个标签或期望值yi。在训练过程中，神经网络模型将学习输入数据与期望标签之间的关系。现在假设我们只有未标记的观察结果，这就意味着我们只有训练数据集。
自编码器在语音转文字中的应用
AI天才研究院
12-31 721
1.背景介绍 语音转文字(Speech-to-Text, STT)是一种将语音信号转换为文本信息的技术，它在日常生活和工作中发挥着越来越重要的作用。随着人工智能技术的发展，语音转文字技术也在不断发展和进步。自编码器(Autoencoder)是一种深度学习模型，它通过压缩输入数据的特征表示，然后在解码阶段恢复原始数据，从而学习到数据的表示方式。自编码器在图像处理、生成对抗网络等方面取得了显著的成果...
自动编码器在语音识别中的应用与发展
AI天才研究院
12-23 967
1.背景介绍 语音识别技术是人工智能领域的一个重要分支，它旨在将人类语音信号转换为文本或其他形式的数据。自动编码器(Autoencoders)是一种神经网络架构，它可以用于降维、特征学习和生成模型。在过去的几年里，自动编码器在语音识别中发挥了越来越重要的作用。本文将讨论自动编码器在语音识别中的应用和发展，包括背景、核心概念、算法原理、代码实例和未来趋势。 2.核心概念与联系 2.1 自动编码...
机器学习18：自编码器Auto-encoder
qqqinrui的博客
04-17 1046
一、Auto-encoder 通过重建输入得到一个低维空间的code 二、Deep Auto-encoder 输入从高维映射到低维再到高维。可以约束对应的encoder和decoder层的参数互为逆变换，即W1与W1^T对应，但一般没有必要约束，直接train就行。 在手写数字辨识中，Deep Auto-encoder比PCA重构的结果好，数据映射到低维空间区分度也更高。 三...
pytorch深度学习：自编码器Auto-encoder（一）
qq_37333048的博客
12-10 1606
这一节，我们来了解下什么是自编码器(AE)。 1.自编码器介绍 作为一种无监督或者自监督算法，自编码器本质上是一种数据压缩算法。我们可以类比下电脑上的压缩包，自编码器本质和压缩包类似，也是将数据进行压缩再解压的过程。 我们用一张图片来解释下AE的本质： 白色数据X经过一个神经网络压缩为一个code，code再经过一个神经网络解压后形成黑色数据X，然后通过对比黑白 X ,求出预测误差, 进行反向传递, 逐步提升自编码的准确性。 训练好的自编码中间code这一部分就是能总结出原数据的精髓。 2.自编码器结构
Auto-encoder（自编码器）的原理及最新的技术应用（李宏毅视频课整理和总结）_mi-autoencoder
最新发布
2301_82242779的博客
04-28 766
2(x−x^)2。将PCA类比为network的话，就可以分为input layer，hidden layer和output layer，hidden layer又称Bottleneck（瓶颈） layer。因为hidden layer的通常维数比output和input要小很多，所以整体看来hidden layer形如瓶颈一般。Hidden layer 的输出就可以等同于Auto-encoder的code vector。
【Deep Learning】自编码模型Auto-Encoder1
木木爱早起的博客
11-17 1398
（1）自编码模型 基本概念：给定一个Input（vector），通过Encoder（neural network），得到code（vector）的过程（通常情况下code的维度小于input的维度） 如何训练：可以将code，连接Decoder（neural network），得到Output（与input相同），通过训练input和output之间的损失函数最小，达到最优效果。 与PCA对比： PCA实际上是通过矩阵变换，将input达到降维的目的 当然，Auto-encoder也可以是
自编码器(AutoEncoder)
我是天才很好
11-26 499
自编码器(AutoEncoder) #!/usr/bin/env python # -*- coding: utf-8 -*- """ @Time : 2019/11/26 13:35 @Author : 我是天才很好 @Blog : https://blog.csdn.net/weixin_43593330 @Email : 1103540209@qq.com @File ...
自编码器Auto-Encoder
luran的博客
10-10 1022
因此，这就迫使编码器学习提取最重要的特征并学习输入数据中更加鲁棒的表征，这也是它的泛化能力比一般编码器强的原因。，是一个自监督的过程，通过训练自编码器，得到每一层中的权重参数，自然地我们就得到了输入x的不同表示（每一层代表一种），这些就是特征。从图1应该已经看出，相比于原数据，重建数据变得模糊了，自编码器是一个有损自监督的过程，但是自编码器的目的不是求得损失函数最小的重建数据，而是。训练自编码器，可以使输入通过编码器和解码器后，保留尽可能多的信息，但也可以训练自编码器来使新表征具有多种不同的属性。
【转载】自动编码器
kanghuilun的博客
08-25 342
自动编码器（Auto Encode）什么是自动编码器1.1 Auto Encoder1.2 Deep Auto Encoder（DAE）1.3 利用keras实现DAE[^1]1.4 取DAE隐层向量[^1]1.5 参考文献其他类型的AE2.1 去噪自动编码器（denoising auto encode）2.2 堆叠去噪自动编码器（Stacked Denoising Auto Encoder，SDAE） 什么是自动编码器 1.1 Auto Encoder 自编码神经网络是一种无监督学习算法，它使用了反向传播
4、自编码器
u010745111的专栏
03-14 830
自编码器其实也是一种神经网络算法。它与神经网络的区别有： 1、自编码器适合无监督学习，即没有标注，也可以提取高阶特征； 2、输入与输出一致，期望提炼出高阶特征来还原自身数据。 3、单隐含层的自编码器，类似于主成分分析（PCA） 实际作用： 先用自编码器的方法进行无监督的预训练，提取特征并初始化权重，然后使用标注信息进行监督式的训练。 当然不局限于预训练，直接使用自编吗器进行特征
自编码器 AutoEncoder
JasonH2021的博客
07-08 4144
本文简单介绍了深度学习的自编码器的基本概念，优缺点，应用场景，建模过程，实现的类库方法和代码案例等。
自编码器(Auto-encoder) (下）它的应用
MOL
12-17 7031
Feature Disentangle 以及Voice Conversion（利用Feature Disentangle实现无监督） 你可以把一段声音丢到 Encoder 里面，变成向量 再丢回 Decoder，变回原来的声音，代表这个向量包含了语音里面所有重要的资讯。包括这句话的内容是什么，就是 Encoder 的资讯，还有这句话是谁说的，就是 Speaker 语者的资讯 过去是需要监督学习，A与B必须说同样的句子，然后再不断的训练，但是对于大规模的数据集是不合适的，而今天有了 Featur.
DL入门(2)：自编码器(AutoEncoder)
热门推荐
KI的博客
01-17 6万+
简单叙述普通自编码器、堆叠自编码器、稀疏自编码器、降噪自编码器的原理及应用。
AUTO-ENCODER
09-05
引用: 训练一个auto-encoder的过程通常会先固定一些权重参数，然后逐层训练多个自编码器，每个自编码器的输入和输出维度逐渐逼近目标维度。最后，可以使用反向传播来微调网络参数。现在也可以不进行预训练，直接训练...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值