图自编码器（GAE）与变分图自编码器（VGAE）

已于 2023-10-10 21:50:14 修改
阅读量3.4k 收藏 27
点赞数 4
文章标签： 人工智能 机器学习
于 2023-10-10 21:42:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53148422/article/details/133755635
版权

目录

自编码器

变分自编码器与自编码器的区别

变分自编码器

图自编码器GAE

编码器

解码器

变分图自编码器VGAE

在学习图自编码器之前先了解一下自编码器与变分自编码器。

自编码器与变分自编码器

自编码器与变分自编码器

自编码器

        自编码器（auto-encoder, AE）是一类在半监督学习和无监督学习中使用的人工神经网络（Artificial Neural Networks, ANNs），其功能是通过将输入信息作为学习目标，对输入信息进行表征学习。 结构通常包括一个输入层、一个或多个隐藏层和一个输出层。自编码器的目标是学习将输入数据压缩到隐藏层中，并能够通过解码器将其从压缩表示中重建出输入数据。


        自编码器通常包括两部分：编码器和解码器。编码器将输入数据映射到隐藏层，通常通过一系列的非线性变换和特征提取来实现。解码器则将隐藏层的表示映射回到重构的输入数据，同时也通过非线性变换和特征提取来实现。

变分自编码器与自编码器的区别

        自编码器和变分自编码器都是属于无监督学习的神经网络模型，可以用于数据降维、特征提取、数据压缩等任务。主要区别在于训练细节和用途。

        自编码器的训练目标是最小化重建误差，也就是使输入和输出保持尽量一致。自编码器的输出通常是通过一组非线性变换和解码器映射回输入空间的重构数据。因此，自编码器常用于数据降维、特征提取等任务中。

        变分自编码器的训练目标是最小化重建误差和一个正则项。正则项通过引入潜在变量，实现对数据分布进行建模。变分自编码器通过从分布中采样潜在变量，从而可以生成新的数据样本。因此，变分自编码器常用于数据生成、异常检测等任务中。

变分自编码器

        变分自编码器不仅学习将输入数据压缩成一个低维的表示，同时还会学习这个低维表示的概率分布。这个概率分布对应着原始数据的隐空间，这使得我们可以从隐空间中生成全新的数据。概率分布的意义就是在隐空间中表示输入数据的总体分布情况，也就是将输入数据映射到隐空间中的概率分布。这个映射过程是非线性的，通过变分自编码器的训练可以学习到这个映射的权重和偏置。因此VAE不仅可以重构原始数据，还可以生成与原始数据类似但并不存在于训练数据中的新数据，相当于对数据进行了无损压缩和有损压缩。

        并且这个概率分布通常选择高斯分布，它有两个参数：均值和标准差，均值描述了概率分布的期望值，而标准差描述了概率分布的广度。

        总之，变分自编码器可以通过将隐含空间中的数据转换为概率分布进行编码，然后在解码过程中，通过随机采样的方式生成新的数据。而且，这个过程是可逆的，也就是说新的数据可以再次通过编码过程映射到隐空间中。这使得变分自编码器在生成新数据时能够保持一定的一致性，保持过程的可逆性，从而对于一些任务，如数据压缩、降维、数据重建和数据生成等都有很好的效果。

        生成新数据的核心是基于概率分布进行随机采样的过程。在训练过程中，变分自编码器通过学习到训练数据的概率分布，即隐空间中对应于原始数据的概率分布，从而生成新的数据。

下面进入正题！！！

图自编码器GAE

        GAE是图卷积神经网络GCN在Auto-Encoders (AE)的应用，隐变量Z是图上的N个节点经过GCN后的N*F维特征，编码器就是两层GCN, 解码器就是向量点积。可以将隐变量Z理解为某种意义上图的节点的相似度，通过向量点积得到的两个图节点的相似度越大，则两个节点之间存在边的概率越大。

        一个图自编码器，包含一个编码器，目的是映射输入图到一个更低的维度；一个解码器，目的是从更低维度的嵌入来重构输入图。换句话说，解码器的输出为重构的邻接矩阵A*，目的就是优化模型使得重构损失即A*与原始图输入A的差异最小。

编码器

        GAE 使用 GCN 作为 encoder，来得到节点的潜在表示（或者说 embedding），这个过程
可用一行简短的公式表达：
Z=GCN(X,A)
两层的GCN定义为：
GCN(X,A)=\widetilde{A}ReLU(\widetilde{A}XW_{0})W_{1}
        整个encoder只有两层，每一层采用的均是切比雪夫多项式的一阶近似作为卷积核处理数据。GCN就相当于一个以节点特征和邻接矩阵为输入、以节点嵌入信息为输出的函数，目的是为了得到节点的嵌入向量Z。

解码器

GAE采用inner-product(内积)作为decoder来重构原始的图：
\widehat{A}=\sigma (ZZ^{T}) 即重构出来的邻接矩阵。

变分图自编码器VGAE

        VGAE是GCN在VAE的应用。编码器用两个两层GCN分别得到N个均值和标准差，这两个GCN会共享第一层的参数，从而得到N个正态分布；解码器仍然是向量inner-product(内积)。变分图自动编码器，它是基于变分自编码器(VAE)的无监督学习图结构数据的框架，该模型利用了潜在变量，并且有可能学习无向图的可解释潜在表示。

        在GAE中，一旦GCN中的W_{0}和W_{1} 确定了，那么GCN就是一个确定的函数，给定X和A，输出的Z 就是确定的。而在 VGAE 中，Z不再由一个确定的函数得到，而是从一个（多维）高斯分布中采样得到。更明确些，就是先通过GCN确定一个（多维）高斯分布，再从这个分布中采样得到Z。

         高斯分布可以唯一地由二阶矩确定。故确定一 个高斯分布，只需要知道均值和方差。VGAE利用GCN来分别计算均值和方差：

\mu =GCN_{\mu }(X,A)

log\sigma =GCN_{\sigma }(X,A)

        通过均值和方差就能唯一确定一个多维高斯分布，从中进行采样得到节点的嵌入表示Z。采样操作无法提供梯度信息对神经网络来说是无意义的，可通过重采样得到节点的向量表示，即服从标准高斯分布N(0,1)。
学习总结到此就结束lu！！！
猪猪的菜牙
关注
  • 4
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图自编码器的起源和应用
Paper weekly
03-09 4581
©PaperWeekly 原创 ·作者｜刘昊东学校｜电子科技大学硕士生研究方向｜推荐系统，表示学习Kipf 与 Welling 16 年发表的「Variational Graph Au...
【GNN】VGAE：利用变分自编码器完成图重构
阿泽的学习笔记
05-21 4487
今天学习的是 Thomas N. Kipf 的 2016 年的工作《Variational Graph Auto-Encoders》，目前引用量为 260 多。 VGAE 属于图自编码器，是图神经网络细分类别的一大类。Kipf 同学也非常厉害，其影响力最大的一篇论文莫过于 2017 年提出的 GCN 模型。 VGAE 全称为 Variational Graph Auto-Encoders，翻译过来就是变分图自编码器，从名字中我们也可以看出 VGAE 是应用于图上的变分自编码器，是一种无监督学习框架。 看到这
gae-pytorch-master_pytorch_pytorchgae_GAE_自编码器_gaepytorchmaster_
10-03
图自编码器GAE的pytorch实现，参考论文vgae
代码解读VGAE（Variational graph auto-encoders）
最新发布
salaryhhhh的博客
02-20 853
VGAE详细的代码解读
深度学习之自编码器实现——实现图像去噪
qq_45856698的博客
05-20 4666
利用自编码器实现图像去噪
深度神经网络重要原理及理论思想篇——自编码器(AutoEncoder)
热门推荐
MIss-Y的博客
12-12 3万+
一、从生成模型开始谈起 1、什么是生成模型？ 概率统计层面：能够在给丁某一些隐含参数的条件下，随机生成观测数据的这样一种模型，称之为“生成模型”。它给观测值和比周数据系列制定一个连和概率分布 机器学习层面：直接对数据进行建模，比如根据某个变量的概率密度函数进行数据采样。在贝叶斯算法中，直接对连和概率分布P(x,y)进行建模，然后利用贝叶斯公式进行求解P(y|x)。 2、生成模型的两大类型 ...
GAE—图自编码器/Graph RNN/Graph RL
红叶谷 wsp_1138886114的博客
09-12 2万+
图自动编码器(GAE) 自编码器(AE)和变分自编码器(VAE)广泛应用于无监督学习中，它们适用于学习无监督信息的图节点表示。下表总结了本文所研究的GAE主要特征： 不同GAE之间的比较 可以看到，在本文所研究的10种GAE方法中，7种属于自编码器(AE)、3种属于变分自编码器(VAE)。 每种方法采用的降维方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特征映射(Lapla...
图神经网络
03-11
  
VGAE（Variational graph auto-encoders）论文及代码解读
瞳瞳瞳呀
08-09 7109
一，论文来源 论文pdf Variational graph auto-encoders 论文代码 github代码 二，论文解读 理论部分参考： Variational Graph Auto-Encoders（VGAE）理论参考和源码解析 VGAE（Variational graph auto-encoders）论文详解 理论方面其实前面两位大佬说的很好了，这里我只是来阐述两点： 1.测试方法： 模型在数据集的不完整版本上训练，其中部分引用链接(边)已被移除，而所有节点特征被保留。 我们从先前移除的边和相
第六周.02.VGAE带读+代码实操
老毛的博客
07-16 5161
文章目录 本文内容整理自深度之眼《GNN核心能力培养计划》 公式输入请参考：在线Latex公式 本周涉及到auto encoder，这个思想在CV和语音处理上都有应用，有想简单了解这块的，看我的笔记： Deep Auto-encoder More About Auto-Encoder VAE看这里：Unsupervised Learning.05: Deep Generative Model (Part I) 本节主要讲VGAE:Variational Graph Auto-Encoders Variati
图机器学习（Graph Machine Learning）- 第三章 无监督图学习2 （Unsupervised Graph Learning）- 自编码器
zj15001的博客
04-12 1807
第三章 无监督图学习2 - 自编码器 AutoEncoder 文章目录第三章 无监督图学习2 - 自编码器 AutoEncoder3.2 自编码器 AutoEncoder3.2.1 TensorFlow和Keras——一个强大的组合3.2.2 第一个自编码器3.2.3 降噪自编码器 Denoising autoencoders3.3 图自编码器 Graph autoencoders总结 3.2 自编码器 AutoEncoder 自动编码器是一个非常强大的工具，可以有效地帮助数据科学家处理高维数据集。尽管自
feedxcavator2:可编程GAE托管的RSS提取器
05-05
feedxcavator2 此应用程序可以通过任意级别的微调将任何内容转换为 。 它提供了用于实时提要更新的内置服务器，并允许直接通过Web-UI在基于Clojure的简单对提要提取过程进行编程（请参见）。 概述 生成的提要的功能由提要配置定义，该配置指定提要标题，URL，源页面的地址，要提取的页面部分，过滤选项等。Feedxcavator可以通过URL自动处理分页站点的多个页面YAML中定义的模板。 也可以通过应用用户定义的单词过滤器之一来过滤供稿内容。 可选地，如果需要一些复杂的处理，则可以使用编程语言中的代码来提取提要内容。 当提要聚合器通过URL或在计划的时间在后台获取提要时，可以执行内容提取。 在最近的情况下，如果指定了“实时”配置选项，则可以在提取之后将获取的内容发送到启用WebSub的聚合器。 YAML配置参数 title : Feed title suffix : fe
RPGAE：探索图形自动编码器的表示能力
02-25
探索图自动编码器的表示能力 在这项研究中，我们研究了图自动编码器（GAE）的表示能力，并验证了嵌入中是否捕获了以下拓扑特征：程度，局部聚类得分，特征向量中心性，中间性中心性。 我们还验证了这些拓扑功能的存在是否可以在节点群集和分类的下游任务上带来更好的性能。 我们的实验结果表明，在模型保留二阶接近度的条件下，这些拓扑特征（尤其是程度）确实保留在采用SUM聚合规则的GAE的第一层中。 我们还显示，在某些下游任务上，具有此类属性的模型可以胜过其他模型，尤其是当保留的特征与手头任务相关时。 最后，我们通过与社会影响力预测相关的测试案例研究来评估研究结果的适用性。 入门 有关结果的完整列表，请检查“ results /”文件夹。 先决条件 python 3.6 dgl-cu90 0.4.3 火炬1.4 网络x 2.4 numpy的1.18.1 scikit学习0.22.2 node2v
TensorFlow中图自动编码器的实现-Python开发
05-25
图自动编码器这是本文所述的（可变）图自动编码器模型的TensorFlow实现：TN Kipf，M.Welling，变分图自动编码器，关于贝叶斯深度学习的NIPS研讨会（2图自动编码器）这是（可变）图自动编码器模型的TensorFlow实现，...
GATE-master_pytorch实现gate_gate_注意力机制_自注意力机制_自编码_
10-03
GATE的pytorch实现，图自编码器+注意力机制
secure-gae-drive:远程安全GAE驱动器
05-01
安全盖驱动器 远程安全GAE驱动器
【转载】图自编码器的起源和应用
byn12345的博客
03-10 1346
本文转自：https://mp.weixin.qq.com/s/oc-o6W087jA-npxy89QMFw ©PaperWeekly 原创 ·作者｜刘昊东 学校｜电子科技大学硕士生 研究方向｜推荐系统，表示学习 Kipf 与 Welling 16 年发表的「Variational Graph Auto-Encoders」提出了基于图的（变分）自编码器Variational Gra...
GCMC - Graph Convolutional Matrix Completion 图卷积矩阵补全 KDD 2018
知行合一，止于至善
10-25 1万+
文章目录1 相关介绍1.1 背景1.2 side information1.3 contributions1.4 相关介绍自编码器矩阵分解模型Matrix completion with side information2 在二部图中矩阵补全作为一种连接预测2.1 符号定义2.2 Revisiting graph auto-encoders 图自编码器2.3 Graph convolutional...
【AI绘图学习笔记】变分自编码器VAE
milu_ELK的博客
03-28 1853
VAE通过给AE引入噪声，将潜在空间中的code从离散区间转化为了连续区间，从而我们可以在连续区间中取得code的插值来生成一些介于某些训练结果code之间的样本。这些样本和原来的输入存在着一定的相似度，不过VAE的生成图像是很模糊的，无法直接作为生成模型。
对抗正则化变分图自编码器 代码
05-02
以下是使用PyTorch实现对抗正则化变分图自编码器（Adversarial Regularization Variational Graph Autoencoder）的代码： ```python import torch import torch.nn as nn import torch.nn.functional as F class GAE(nn.Module): def __init__(self, n_feat, n_hid, n_latent): super(GAE, self).__init__() self.n_latent = n_latent self.encoder = nn.Sequential( nn.Linear(n_feat, n_hid), nn.ReLU(), nn.Linear(n_hid, n_hid), nn.ReLU(), nn.Linear(n_hid, n_latent * 2) ) self.decoder = nn.Sequential( nn.Linear(n_latent, n_hid), nn.ReLU(), nn.Linear(n_hid, n_hid), nn.ReLU(), nn.Linear(n_hid, n_feat) ) def encode(self, x): h = self.encoder(x) mu, log_var = torch.chunk(h, 2, dim=-1) return mu, log_var def decode(self, z): return self.decoder(z) def reparameterize(self, mu, log_var): std = torch.exp(0.5 * log_var) eps = torch.randn_like(std) return mu + eps * std def forward(self, x): mu, log_var = self.encode(x) z = self.reparameterize(mu, log_var) x_hat = self.decode(z) return x_hat, mu, log_var def loss_function(self, x, x_hat, mu, log_var): recon_loss = F.mse_loss(x_hat, x, reduction='mean') kld_loss = -0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp(), dim=-1).mean() return recon_loss + kld_loss class Discriminator(nn.Module): def __init__(self, n_latent, n_hid): super(Discriminator, self).__init__() self.model = nn.Sequential( nn.Linear(n_latent, n_hid), nn.ReLU(), nn.Linear(n_hid, 1), nn.Sigmoid() ) def forward(self, z): return self.model(z) class ARVGA(nn.Module): def __init__(self, n_feat, n_hid, n_latent, n_hid_d): super(ARVGA, self).__init__() self.gae = GAE(n_feat, n_hid, n_latent) self.discriminator = Discriminator(n_latent, n_hid_d) def forward(self, x): x_hat, mu, log_var = self.gae(x) z = self.gae.reparameterize(mu, log_var) return x_hat, mu, log_var, z def loss_function(self, x, x_hat, mu, log_var, z): recon_loss = F.mse_loss(x_hat, x, reduction='mean') kld_loss = -0.5 * torch.sum(1 + log_var - mu.pow(2) - log_var.exp(), dim=-1).mean() g_loss = recon_loss + kld_loss d_real = self.discriminator(torch.randn(z.shape).to(z.device)) d_fake = self.discriminator(z.detach()) d_loss = -torch.mean(torch.log(d_real + 1e-8) + torch.log(1 - d_fake + 1e-8)) return g_loss, d_loss ``` 其中，`GAE`类定义了变分图自编码器（Variational Graph Autoencoder），包括编码器和解码器，以及相关的函数，如重参数化函数等。`Discriminator`类定义了对抗正则化中的判别器。`ARVGA`类整合了变分图自编码器和判别器，并定义了前向传递和损失函数。 在训练模型时，可以使用以下代码： ```python model = ARVGA(n_feat, n_hid, n_latent, n_hid_d) optimizer_g = torch.optim.Adam(model.gae.parameters(), lr=lr) optimizer_d = torch.optim.Adam(model.discriminator.parameters(), lr=lr) for epoch in range(n_epochs): for batch in data_loader: x = batch.to(device) x_hat, mu, log_var, z = model(x) g_loss, d_loss = model.loss_function(x, x_hat, mu, log_var, z) optimizer_g.zero_grad() g_loss.backward(retain_graph=True) optimizer_g.step() optimizer_d.zero_grad() d_loss.backward() optimizer_d.step() ``` 其中，`data_loader`是一个`torch.utils.data.DataLoader`对象，用于加载训练数据。`n_epochs`是训练轮数，`lr`是学习率。调用`model.loss_function()`可以得到生成器和判别器的损失，并分别使用对应的优化器进行反向传播和参数更新。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值