堆叠式自动降噪编码器

最新推荐文章于 2024-08-03 16:02:00 发布
最新推荐文章于 2024-08-03 16:02:00 发布
阅读量1.4k 收藏 7
点赞数 3
分类专栏： python 文章标签： 机器学习

文章参考与：https://www.cnblogs.com/wangshicheng/p/10689745.html
1.1 自动编码器

自动编码器（AutoEncoder，AE）就是一种尽可能复现输入信号的神经网络，其输出向量与输入向量同维，常按照输入向量的某种形式，通过隐层学习一个数据的表示或对原始数据进行有效编码。值得注意的是，这种自编码器是一种不利用类标签的非线性特征提取方法， 就方法本身而言， 这种特征提取的目的在于保留和获得更好的信息表示， 而不是执行分类任务，尽管有时这两个目标是相关的！
在这里插入图片描述

一个典型的最简单的自动编码器拥有一个表示原始数据或者输入特征向量的输入层，一个表示特征转换的隐层和一个跟输入层匹配、 用于信息重构的输出层，如图一所示。当隐层数目大于 １ 时， 自动编码器就被视为深层结构，我们称其为堆叠式自动编码器，而我们通常所说的自动编码器指的都是隐层数为1层的结构。自动编码器的主要目标是让输入值和输出值相等，所以首先用对输入进行编码，经过激活函数后，再用进行解码，而编码层和解码层的权重 、通常取为互为转置矩阵，即，这便是自动编码器的核心思想：先编码，后解码，前后保持不变。

这里的深度学习实现了基本的 编码 激活 解码的过程

图一 自动编码器结构
  除了上述介绍的最典型的自动编码器结构，还有其他几种自动编码器的变形结构。例如，如果自动编码器的基础上加上L1的正规性限制（L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源），我们就可以得到稀疏自动编码器（SAE，Sparse AutoEncoder）。还有，如果在自动编码器上加入了一个规则项，使其对权重值进行惩罚，就得到了收缩自动编码器（CAE，Contractive AutoEncoder）。此外，如果在网络的可视层（即数据的输入层）引入随机噪声，然后再进行编解码来恢复输入层的数据或特征，就得到了降噪自动编码器（DAE，Denoise AutoEncoder）。

单隐层的自动编码器，充其量也就是个强化补丁版PCA（主成分分析），只用一次好不过瘾。于是Bengio等人在2007年的 “Greedy Layer-Wise Training of Deep Networks”一文中，仿照堆叠受限玻尔兹曼机（RBM）来构成深度置信网络（DBN）的方法，提出堆叠式自动编码器（Stacked AutoEncoder）。接下来，就将对其中的堆叠式降噪自动编码器（Stacked Denoise AutoEncoder）进行详细地分析。

1.2 堆叠式降噪自动编码器
  对于单隐层的自动编码器，通常利用反向传播算法的诸多变种之一来进行训练（其中最典型的方法是随机梯度下降法）， 就可以取得非常有效的结果。但是，如果仍将其应用于多隐层的网络中，反向传播的训练方法就会产生一些问题：通过最初的几层后， 误差会变得极小， 训练也随之变得无效。尽管更多先进的反向传播方法一定程度上缓解了这一问题， 但依然无法解决学习速度缓慢的问题，尤其是当训练数据量有限时， 该问题更为明显。 正如前面所提到的，如果可以通过把每一层当作一个简单的自解码器来进行预训练，然后再进行堆叠，那么训练效率就会得到大大地提高。正如图二所示，先对每个单隐层的降噪自动编码器单元进行无监督预训练，然后再进行堆叠，最后进行整体的反向调优训练，就得到了一个两层隐藏层结构的堆叠式降噪自动编码器。

在这里插入图片描述

图二 堆叠式降噪自动编码器结构
  下面详细介绍一下构建上述两层隐藏层结构的降噪自动编码器的具体步骤。首先对第一个DA单元进行预训练，其中为恢复后的输入数据或特征，为未被噪声污染的原始输入数据或特征，为被噪声污染后的输入数据或特征，为sigmoid函数：

在这里插入图片描述

图三 对第一个DA单元进行预训练
  第一个自动编码器的输出可以表示如下：
采用最小均方差作为代价函数，且利用梯度下降的方法进行权重值W和偏置值b的更新：
其中梯度下降法的具体计算方式如下：

预训练完毕后，去掉输出层及其相应的权重和偏置，只保留输入层和隐藏层的和即可。然后将第一个DA单元的隐藏层作为第二个DA单元的输入，进行第二个DA单元的预训练如下所示：

在这里插入图片描述

图四 对第二个DA单元进行预训练
  第二个降噪自动编码器的输出可以表示如下：
采用最小均方差作为代价函数，且利用梯度下降的方法进行权重值W和偏置值b的更新：
其中梯度下降法的具体计算方式如下：

第二个DA单元预训练完毕后，去掉其输出层和相应的权重和偏置，只保留输入层和隐藏层的和，并将其堆叠在第一个DA单元上即可。最后，再第二个DA单元的隐藏层之上添加一层输出层（对输出层的权重值和偏置进行随机初始化即可），进行解码恢复。

两个DA单元的预训练完毕后，最后要进行的是整体的反向调优训练。调优训练的代价函数也可以采用上述提到的代价函数，并利用梯度下降法自顶到底（预训练时的反向误差传播只有两层，而这里的误差反向传播为三层）进行权重和偏置值的更新。

参考文献：

  1. 文章：Li Deng, A tutorial survey of architectures, algorithms, and applications for deep learning, (2014，APSIPA Transactions on Signal and Information Processing)
  2. 博客：《自动编码器》，网址：https://www.cnblogs.com/taojake-ML/p/6475422.html
python-ing
关注
  • 3
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
揭开堆叠式自动编码器的强大功能
gongdiwudu的专栏
11-08 2171
在不断发展的人工智能和机器学习领域，深度学习技术因其处理复杂和高维数据的能力而广受欢迎。在各种深度学习模型中，堆叠式自动编码器是一种多功能且功能强大的工具，可用于特征学习、降维和数据表示。本文探讨了堆叠式自动编码器在深度学习领域的架构、工作原理、应用和意义。
【图像处理】使用自动编码器进行图像降噪
gongdiwudu的专栏
07-24 5730
自动编码器是一种学习压缩和重建输入数据的神经网络。它由一个将数据压缩为低维表示的编码器和一个从压缩表示中重建原始数据的解码器组成。该模型使用无监督学习进行训练，旨在最小化输入和重建输出之间的差异。自动编码器可用于降维、数据去噪和异常检测等任务。它们在处理未标记数据时非常有效，并且可以从大型数据集中学习有意义的表示。
堆叠式降噪自动编码器（SDA）
Mr_Researcher 的博客
12-30 1万+
1.1 自动编码器  自动编码器（AutoEncoder，AE）就是一种尽可能复现输入信号的神经网络，其输出向量与输入向量同维，常按照输入向量的某种形式，通过隐层学习一个数据的表示或对原始数据进行有效编码。值得注意的是，这种自编码器是一种不利用类标签的非线性特征提取方法， 就方法本身而言， 这种特征提取的目的在于保留和获得更好的信息表示， 而不是执行分类任务，尽管有时这两个目标是相关的。  一个典型
堆叠降噪自动编码机
weixin_44943389的博客
12-28 683
在机器学习中，堆叠降噪自动编码器（Stacked Denoising Autoencoder，SDAE）是一种用于特征学习和降维的深度学习模型。降噪自动编码器（Denoising Autoencoder）是自动编码器的一种变体，通过在输入中引入噪声来提高模型的鲁棒性和泛化能力。堆叠降噪自动编码器通常由多个降噪自动编码器层叠在一起构成，每一层都逐步学习数据的更高级别的抽象表示。整个模型形成了一个深度神经网络，可以用于学习数据的分层表示，有助于捕捉数据中的复杂结构和特征。函数用于创建堆叠降噪自动编码器。
堆叠自动编码器(Stacked AutoEncoder)
u013250861的博客
12-19 3650
对于分类任务，往往在自动编码器顶端再添加一分类层（如Softmax层），并结合有标注的训练数据，在误差函数的指导下，对系统的参数进行微调，以使得整个网络能够完成所需的分类任务。降噪自编码器(Stacked Denoising Autoencoders)核心思想是，一个能够从中恢复出原始信号的表达未必是最好的，能够对“被污染/破坏”的原始数据编码、解码，然后还能恢复真正的原始数据，这样的特征才是好的。对我们来说，此时的h是至关重要的，因为它是在尽量不损失信息量的情况下，对原始数据的另一种表达。
堆叠降噪自编码器SDAE
weixin_30764771的博客
07-31 1497
https://blog.csdn.net/satlihui/article/details/81006906 https://blog.csdn.net/github_39611196/article/details/85246236 https://blog.csdn.net/q1242027878/article/details/84679093 https://blog.csdn...
堆叠自编码器详解（SAE）
tortorish的博客
10-08 2697
自编码器及堆叠自编码器原理详解，及贪婪逐层训练方法。
详解自动编码器(AE)
热门推荐
Avery123123的博客
11-21 1万+
自动编码器(Auto-Encoders,AE) 降噪自编码(Denoising Auto-Encoders, DAE)(2008) 堆叠降燥自动编码器 (Stacked Denoising Auto-Encoders, SAE)(2008) 卷积自动编码器(Convolution Auto-Encoders, CAE)(2011) 变分自动编码器(Variational Auto-Encoders, VAE)(Kingma, 2014)
Theano3.7-练习之堆叠消噪自动编码器
shouhuxianjian的专栏
06-12 3025
来自：http://deeplearning.net/tutorial/SdA.html#sda Stacked Denoising Autoencoders (SdA) note：这部分需要读者读过 （Theano3.3-练习之逻辑回归）和（Theano3.4-练习之多层感知机）。另外会使用到的theano函数和概念： T.tanh, shared variables, basic
基于堆叠式判别降噪自动编码器的推荐系统
03-13
基于堆叠式判别降噪自动编码器的推荐系统
DenoisingAutoEncoder:堆叠式降噪自动编码器的Python实现，用于无监督学习高级特征表示
05-06
微调：使用标准反向传播算法对整个网络进行微调＃创建堆叠降噪自动编码器的结构sDA = StackedDA（[300，100]） # Pre-train layers one at a time, with 50% Salt and Pepper noisesDA.pre_train(X[:1000], rate=0.5...
stacked_denoising_auto_encoder:Theano中的堆叠式降噪自动编码器。 使用mnist数据集
05-05
堆叠式降噪自动编码器在Theano。 使用mnist数据集。跑步python3 train.py 是基本运行。 您可以指定更多这样的选项。 python3 train.py n_nodes=[180,42,10] noise=[.1,.05,.025] learning_rate=.1 lambda1=[.5,.1,.1...
堆叠去噪自编码器matlab代码-mSDA:（线性）边际化堆叠降噪自动编码器（mSDA）以及密集词组（dCoT）的Python实现。基于Min
05-23
（线性）边际化堆叠降噪自动编码器（mSDA）以及密集词组（dCoT）的Python实现，这是基于mSDA的降维算法。 基于Minmin Chen的Matlab代码。 有关原始论文和代码，请参见。 该代码尚未经过广泛的测试，因此实际上请不要...
去噪代码matlab-xrce_msda_da_regularization:用于域自适应的正则化边缘化堆叠式降噪自动编码器
05-27
用于域自适应的正则化边缘化堆叠式降噪自动编码器 Matlab代码，“带正则化域实例去噪的无监督域自适应”，Csurka，Gabriela和Chidlovskii，Boris和Clinchant，Stéphane和Michel，索非亚，在ECCV研讨会上转移和适应...
【Python机器学习】支持向量机——寻找最大间隔
weixin_39407597的博客
08-03 457
分类器的工作原理：输入数据给分类器会输出一个类别标签，这相当于一个类似于Sigmoid的函数在作用
机器学习——第八章 集成学习
weixin_46002351的博客
08-03 1065
Boosting是一种可将弱学习器提升为强学习器的算法：先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练样本的分布进行调整，使得先前基学习器做错的训练样本在后续受到更多关注，然后基于调整后的样本分布来训练下一个基学习器；在一般经验中，如果把好坏不等的个体学习器掺到一起，那么通常结果会是比最坏的要好一些，比最好的要坏一些，要获得好的集成，个体学习器应“好而不同”，即个体学习器要有一定的“准确性”，并且要有“多样性”，也就意味着学习器间具有差异，如下所示。其中，E是集成的泛化误差，
【机器学习】成本函数在逻辑回归中的形式以及逻辑回归的成本函数
m0_49243785的博客
08-02 1310
检查并使用逻辑回归的成本函数
PPO算法，即Proximal Policy Optimization（近端策略优化）.pdf
最新发布
08-05
PPO算法，即Proximal Policy Optimization（近端策略优化），是一种在强化学习领域中广泛应用的策略梯度方法。由OpenAI在2017年提出，PPO旨在解决传统策略梯度方法中策略更新过大导致的训练不稳定问题。它通过引入限制策略更新范围的机制，在保证收敛性的同时提高了算法的稳定性和效率。 一、PPO算法简介 PPO算法的核心思想是通过优化一个特定的目标函数来更新策略，但在这个过程中严格限制策略变化的幅度。具体来说，PPO引入了裁剪（Clipping）和信赖域（Trust Region）的概念，以确保策略在更新过程中不会偏离太远，从而保持训练的稳定性。 二、PPO算法的主要变体 PPO算法主要有两种变体：裁剪版（Clipped PPO）和信赖域版（Adaptive KL Penalty PPO）。其中，裁剪版PPO更为常见，它通过裁剪概率比率来限制策略更新的幅度，而信赖域版PPO则使用KL散度作为约束条件，并通过自适应调整惩罚系数来保持策略的稳定更新。PPO算法，即Proximal Policy Optimization（近端策略优化），是一种在强化学习领域中广
堆叠式自动降噪编码器 python 代码
07-16
堆叠式自动降噪编码器（Stacked Autoencoder）是一种用于无监督学习的神经网络模型，用于特征提取和降噪处理。下面是使用python实现的堆叠式自动降噪编码器的代码： ```python import numpy as np import tensorflow as tf # 定义堆叠式自动降噪编码器类 class StackedAutoencoder: def __init__(self, num_layers, hidden_units): self.num_layers = num_layers self.hidden_units = hidden_units def build_model(self, input_dim): self.model = tf.keras.models.Sequential() # 添加隐藏层和输出层 for i in range(self.num_layers): if i == 0: # 第一层的输入维度为输入数据的维度 self.model.add(tf.keras.layers.Dense(self.hidden_units[i], input_dim=input_dim, activation='relu')) else: # 后续层的输入维度为上一层的输出维度 self.model.add(tf.keras.layers.Dense(self.hidden_units[i], activation='relu')) # 最后一层的输出维度为输入数据的维度 self.model.add(tf.keras.layers.Dense(input_dim, activation='sigmoid')) # 编译模型 self.model.compile(optimizer='adam', loss='binary_crossentropy') def train(self, input_data, epochs=10, batch_size=32): self.model.fit(input_data, input_data, epochs=epochs, batch_size=batch_size) def denoise(self, input_data): denoised_data = self.model.predict(input_data) return denoised_data # 示例用法 input_data = np.random.rand(1000, 100) # 假设有1000个样本，每个样本的维度为100 autoencoder = StackedAutoencoder(3, [50, 30, 20]) # 设置3层自动降噪编码器，隐藏单元分别为50, 30和20个 autoencoder.build_model(input_data.shape[1]) # 根据输入数据的维度构建模型 autoencoder.train(input_data, epochs=100, batch_size=32) # 训练模型 denoised_data = autoencoder.denoise(input_data) # 对输入数据进行降噪处理 ``` 以上的代码定义了一个`StackedAutoencoder`类，可以根据指定的层数和隐藏单元个数构建模型，并进行训练和降噪处理。使用时，先创建一个`StackedAutoencoder`对象，然后调用`build_model`方法构建模型，再调用`train`方法进行训练，最后调用`denoise`方法对输入数据进行降噪处理。示例中使用随机生成的输入数据进行了演示。请根据实际需求进行相应的参数设置和数据输入。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值