论文翻译-Learning Deep Network Representations with Adversarially

最新推荐文章于 2024-09-19 17:25:59 发布

An_27

最新推荐文章于 2024-09-19 17:25:59 发布

阅读量1.2k

点赞数 4

分类专栏：外文论文翻译文章标签：深度学习网络表示顶会论文

本文链接：https://blog.csdn.net/weixin_43159628/article/details/85342502

版权

本文提出了一种名为NETRA的深度网络嵌入模型，通过结合反向正则化自动编码器和生成对抗网络，解决网络表示学习中的局部保持和全局重构问题。NETRA利用LSTM自动编码器处理顶点序列，同时通过对抗训练最小化局部保持损失和全局重构误差。实验证明，NETRA在网络重构、链路预测和多标签分类等任务上表现出优异的效果。

摘要由CSDN通过智能技术生成

WenchaoYu1,ChengZheng1,WeiCheng2,CharuC.Aggarwal3,DongjinSong2,BoZong2, HaifengChen2,andWeiWang1
1加州大学洛杉矶分校计算机科学系
2NEC美国实验室公司
3IBM AI研究部
{wenchaoyu,chengzheng,weiwang}@cs.ucla.edu,{weicheng,bzong,dsong,haifeng}@nec-labs.com,charu@us.ibm.com

摘要

网络表示学习的问题，也称为网络嵌入，产生于许多学习任务，假设在顶点表示中存在少量可变性，这些可变性可以捕获原始网络结构的“语义”。具有浅层或深层体系结构的模型，从低维嵌入、局部可重构性和全局可重构性中学习顶点表示从输入网络中取样的序列。同样地，通过学习概率密度函数和取样序列来处理生成顶点表示的问题。然而，由于输入网络采样序列的固有稀疏性，所得到的结果很难在形式上加以推广。因此，通过学习概率密度泛函数在样本序列上生成顶点表示来处理问题。在本研究中，我们建议学习使用反向正则化自编码器（NETRA）的网络表示。NETRA学习了通过联合考虑局部性和全局重构约束来捕获结构的描述。我们实证地演示了网络结构的关键特性是如何被捕获的，以及NETRA在多种任务上的有效性，包括网络重构、链路预测和多标签分类。

关键词：网络嵌入、自动编码器、通用对抗网络

暂时没时间整理公式，后面有时间改公式

1 绪论

网络分析在挖掘有用信息方面具有巨大的潜力，这些有用信息对诸如链接预测、社区检测和社会网络异常检测[34]、生物网络[31]和语言网络[28]、语言网络等下游任务有利。

在分析工作数据时，一个基本的问题是超顶点的低维向量表示，即网络结构被应用到向量空间[23]。问题是，有两个主要挑战：(1)复杂结构性质的保持。嵌入网络的目的在于“适合”训练网络，从而保留网络的结构性质[23，26]。然而，这个复合体的潜在结构却以概率密度的显式形式表现出来，而这种概率密度又能反映局部网络邻域信息和全局网络结构。(2)网络抽样的稀疏性。目前主要采用抽样技术，包括随机游走抽样、广度优先搜索等，来导出约束数据集的外部序列。然而，抽样只占全部顶点序列的很小一部分。另一种方法是构造连续码空间[37]。不幸的是，由于在许多情况下，在低维流形中可能不存在先验分布，因此学习连续离散案例的潜在表示仍然是一个具有挑战性的问题[26]。

近来，网络嵌入在复杂网络的顶点表示方面取得了长足的进展[23，26，37]。这些表示采用非线性变换来捕捉原始网络的“语义”。大多数表示方法首先采用从输入网络开始的遍历，然后建立具有最优允许维顶点嵌入顺序的模型。由于顶点序列的总数非常大，因此采样策略会遇到数据稀疏问题。随后，在稀疏样本集上的学习倾向于产生一个过于复杂的模型来解释采样数据集，最终导致过拟合。流形仍是不相关流形。理想情况下，可以用单重分布实现连续的顶点表示。然而，在很多情况下，在低维流形中，先验分布的形式是不确定的、不可能的、完全定义的。例如，Dai等人[6]建议训练鉴别器来辨别。由固定的先验分布和输入编码产生的区别的样本，并由此将嵌入分布推向固定的先验分布。虽然它具有更大的灵活性，但是它受到模型崩溃问题的困扰[16]。此外，大多数具有深结构的模型通常不考虑先验分布。采样的顶点序列的顶点信息[37]。因此，不能很好地考虑邻近的信息。

为解决上述问题，在本研究中，我们提出了一个新的模型，它用逆规则描述子(NETRA)来表示，NETRA联合地将局部保持最小化，并把自编码器的构造误差与短期记忆法(LSTM)结合起来。将输入序列映射到固定长度表示的编码器。联合推理用于对抗性训练过程，以避开重复优先分配的要求。如图1所示，我们的模型使用离散LSTM自动编码器来学习控制该模型不仅使LSTM自编码器的构造误差最小化，而且使LSTM自编码器中的局部保持损失也同时减小。生成性对抗训练可以作为网络嵌入过程的补充规则器。

在这里插入图片描述

图1：具有异常正则化自编码器的深度网络嵌入架构的图示

NETRA具有网络嵌入模型所要求的不可分割性：1)结构特性保持，NETRA利用了网络拓扑结构之间的LSTM，以及网络拓扑结构的特征。2)泛化能力，泛化能力，等同于泛化能力，使分布和人口之后的非顶点序列得以生成。明确密度分布克服了输入顶点之间的矛盾。实验结果表明网络重构、链路预测和多标签分类等算法具有较强的嵌入能力。综上所述，本工作的主要贡献如下：

我们利用生成对抗训练过程，通过联合最小化局部保持损失和全局重构误差，提出了一种具有通用规则零树编码NETRA的深度网络嵌入模型。

从网络上看，NETRA学会了从离散输入中产生有用的顶点表示，而不需要定义间接隐含空间先验知识。

我们利用真实世界信息网络进行了网络重构、链接预测和多标记分类的广泛实验。实验结果表明NETRA的有效性和高效性。

在第二节中，我们回顾了自编码器、生成对抗网络和网络嵌入算法的初步知识。在第三节，我们描述了利用生成对抗过程学习低维映射的NETRA框架。通过网络重构、链路预测、多标签分类等联合框架，实现了NETRA的性能。在第五节中，我们比较了NETRA框架和其他网络嵌入算法，讨论了相关的工作，最后，在第六节中，我们总结并提出了未来工作的方向。

2 准备工作

2.1 自动编码器神经网络

训练自动编码器神经网络以将目标值设置为等于输入。网络由两部分组成：编码器f_ϕ (·)，用于将输入(x∈R^n)映射到潜在的低维表示，以及解码器h_ψ (·)，用于产生输入的重建。具体来说，给定一个数据分布P_data，从中得出x，即x~P_data (x)，我们想学习表示f_ϕ (x)，使得输出假设h_ψ 〖(f〗_ϕ (x))近似等于x。学习过程简单地描述为最小化成本函数，

minE_(x~P_data (x)) [dist(x,h_ψ (f_ϕ (x)))]， (1)

dist(·)是数据空间中的某种相似性度量。在实践中，距离测量有很多选择。例如，如果我们使用l2范数来测量重建误差，那么目标函数可以定义为L_LE(φ,ψ;x)= E_(x~P_data (x) ) ||x-h_ψ (f_ϕ (x)))〖||〗^2。类似地，交叉熵损失的目标函数可以定义为，

-E_(x~P_data (x) ) [xlogh_ψ (f_ϕ (x))+(1-x)log(1-h_ψ (f_ϕ (x)))]， (2)

编码器f_ϕ (·)和解码器h_ψ (·)的选择可能因不同的任务而异。在本文中，我们使用LSTM自动编码器[27]，它能够处理序列作为输入。

2.2 生成对抗网络

生成对抗网络(GANs)[11]为两个玩家建立一个对抗训练平台，即生成器g_θ (·)和鉴别器d_w (·)，以进行极小极大值游戏。

■(min@θ)■(max@w)■(E@x~P_data (x))[logd_w (x)]+■(E@z~P_g (z))[log⁡(1-d_w (g_θ (z)))] (3)

发生器g_θ (·)试图将噪声映射到输入空间，使数据更接近，而鉴别器d_w (x)则表示从数据到噪声的概率，其目的是区分真实数据分布P_data (x)和伪样本分布P_g (z)，如z~N(0，I)。Wasserstein GANs [1]用Earth-Mover距离(Wasserstein-1)代替Jensen-Shannon发散,克服了训练不稳定的问题,解决了这个问题。

■(min@θ)■(max@wϵW)■(E@x~P_data (x))[d_w (x)]-■(E@z~P_g (z))[d_w (g_θ (z))] (4)

通过截断判别器的权重，在连续空间[-c，c]中保持了判别器上的Lipschitz约束W。