自编码器(Auto-encoder)

自编码器是一种无监督学习算法,训练样本集合是没有带类别标签的,即\{x^{(1)},x^{(2)},x^{(3)},...\},x^{(i)}\in R^n

自编码器的基础是神经网络算法:在一个神经网络里,当我们设定a_3=x,即输入等于输出时,神经网络相当于模拟了一个输入到自身的映射。一个自编码器就是这样一种三层的神经网络:

从第一层到第二层相当于是一个编码(encode)的过程,从第二层到第三层相当于是一个解码(decode)的过程。

在一个自编码器中,由于只有无标签数据,将输入信息(Input)输入到一个编码器(encoder),就会得到一个编码(code),之后再通过一个解码器(decoder),就会得到一个输出信息(output)。如果这个“输出信息”和原始的“输入信号”是一样的,我们就有理由相信,中间得到的编码code是输入信息input的另外一个表示通过调整编码器和解码器中的参数,来最小化重构误差,此时就可以得到编码code。从第二层(隐含层)到第三层(输出层)是正向运算,因此自编码器的第二层可以完整地描述输入信号,也就是可以从第二层a_2中无损的将输入信号x重构出来,即自编码。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
引用: Auto-encoder是一种深度学习模型,用于将输入数据编码为低维表示,并尽可能地重构原始数据作为输出。在降维方面,PCA会将不同类别的数据混合在一起,而auto-encoder则可以将它们分开。除了降维之外,auto-encoder还有其他用途,比如图片搜索。 引用: 训练一个auto-encoder的过程通常会先固定一些权重参数,然后逐层训练多个自编码器,每个自编码器的输入和输出维度逐渐逼近目标维度。最后,可以使用反向传播来微调网络参数。现在也可以不进行预训练,直接训练auto-encoder。此外,auto-encoder还可以与卷积神经网络(CNN)一起使用。 引用: 特征区分技术是指在auto-encoder中,通过编码器获取的Embedding向量中,可以区分出不同输入数据的特征信息。比如,对于语音输入,可以分别提取出语音内容和说话者的特征。这就是Feature Disentangle的目标。 根据李宏毅老师的讲解,auto-encoder是一种用于降维、重构和特征提取的深度学习模型。它可以将输入数据编码为低维表示,并尽可能地重构原始数据作为输出。除了降维之外,auto-encoder还可以用于图片搜索等任务。训练auto-encoder时,可以使用预训练和微调的方法,也可以直接进行训练。此外,auto-encoder还可以与卷积神经网络(CNN)结合使用。特征区分技术可以用于auto-encoder中,用于提取不同输入数据的特征信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值