Adversarial Learning

最新推荐文章于 2023-01-24 22:29:25 发布
最新推荐文章于 2023-01-24 22:29:25 发布
阅读量2.7k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41128293/article/details/101392213
版权

GAN

在这里插入图片描述
KL散度，JS散度

传统GAN 在辨别器最优时，生成器的loss为
在这里插入图片描述
根据KL,JS散度，在这里插入图片描述
但是如果两个分布完全没有重叠的部分，或者它们重叠的部分可忽略时
在这里插入图片描述
JS散度始终未log2
而这对于梯度下降方法意味着——梯度为0
生成样本分布的支撑集就在4096维空间中构成一个最多100维的低维流形
从某个低维（比如100维）的随机分布中采样出一个编码向量

  • 判别器训练得太好，生成器梯度消失，生成器loss降不下去；判别器训练得不好，生成器梯度不准，四处乱跑。只有判别器训练得不好不坏才行，但是这个火候又很难把握，甚至在同一轮训练的前后不同阶段这个火候都可能不一样，所以GAN才那么难训练。

第二种原始生成器loss(公式三)

在这里插入图片描述
最终可以把公式3化简为在这里插入图片描述
这个等价最小化目标存在两个严重的问题。

  • 第一是它同时要最小化生成分布与真实分布的KL散度，却又要最大化两者的JS散度，一个要拉近，一个却要推远！这在直观上非常荒谬
  • 第二，即便是前面那个正常的KL散度项也有毛病。因为KL散度不是一个对称的衡量
    在这里插入图片描述
    第一种错误对应的是“生成器没能生成真实的样本”，惩罚微小；第二种错误对应的是“生成器生成了不真实的样本” ，惩罚巨大。第一种错误对应的是缺乏多样性，第二种错误对应的是缺乏准确性。这一放一打之下，生成器宁可多生成一些重复但是很“安全”的样本，也不愿意去生成多样性的样本，因为那样一不小心就会产生第二种错误，得不偿失。这种现象就是大家常说的collapse mode。

小结：在原始GAN的（近似）最优判别器下，第一种生成器loss面临梯度消失问题，第二种生成器loss面临优化目标荒谬、梯度不稳定、对多样性与准确性惩罚不平衡导致mode collapse这几个问题。

对第一种问题的解决方案

对生成样本和真实样本加噪声，直观上说，使得原本的两个低维流形“弥散”到整个高维空间，强行让它们产生不可忽略的重叠。而一旦存在重叠，JS散度就能真正发挥作用，此时如果两个分布越靠近，它们“弥散”出来的部分重叠得越多，JS散度也会越小而不会一直是一个常数，于是（在第一种原始GAN形式下）梯度消失的问题就解决了。在训练过程中，我们可以对所加的噪声进行退火（annealing），慢慢减小其方差，到后面两个低维流形“本体”都已经有重叠时，就算把噪声完全拿掉，JS散度也能照样发挥作用。

但是仍然没能够提供一个衡量训练进程的数值指标。但是WGAN就从根源出发，用Wasserstein距离代替JS散度，同时完成了稳定训练和进程指标的问题。

Wasserstein 距离

Wasserstein距离又叫Earth-Mover（EM）距离，定义如下：在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
Wasserstein距离相比KL散度、JS散度的优越性在于，即便两个分布没有重叠，Wasserstein距离仍然能够反映它们的远近。

在这里插入图片描述

WGAN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Domain Agnostic Learning with Disentangled Representations

This paper purposes a novel Deep Adversarial Disentangled Autoencoder (DADA), which aims to tackle domain-agnostic learning by disentangling the domain-invariant features from both domain-specific and class-irrelevant (background) features simultaneously.
在这里插入图片描述

求导

在这里插入图片描述

Sigmoid

在这里插入图片描述

tanh

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Relu

在这里插入图片描述
在这里插入图片描述

Softmax

在这里插入图片描述
在这里插入图片描述

chief_lin
关注
Simple Contrastive Representation Adversarial Learning for NLP Tasks
红酒暖心不暖胃
12-24 2110
这里写自定义目录标题论文目的相关工作contrastive learningAdversarial Training and Adversarial Attack本文方法Adversarial Training And Adversarial Attack MethodsSelf-supervised Contrastive LearningSupervised Contrastive Adversarial LearningUnsupervised Contrastive Adversarial Lear
domain adaptation 之 domain adversarial learning （二）
钉马掌的小铁匠的博客
08-07 672
正如《domian adaptation 之 domain adversarial learning (一)》中介绍的，设计一个 domain adversarial learning 的新方法被简化为以下三个问题： 是否选择基于生成或者辨别的网络； 是否共享网络权重； 选择哪一个对抗学习目标。 为了拉近两个域之间的距离，可以共享网络参数也可以选择不共享网络参数；但是当特征生成器生成的源域特征固定，并使用网络提取的目标域特征模仿提取的源域特征时，需要固定源域特征生成器的参数并调整目标域特征生成器的参数。
adversarial Learning and attacks 学习笔记
jxsdq的博客
01-24 808
GANs大家是比较熟悉的网络结构，adversarial attacks 也不是很新的概念了。近期的工作有涉及到adversarial attacks，故整理一下学习的内容。
论文笔记---Adversarial Learning for Robust Deep Clustering
weixin_44177594的博客
06-22 856
Adversarial Learning for Robust Deep Clusteringintroduction背景和准备方法 introduction 以前的工作：K-means ------- 谱聚类 ------- 子空间聚类 K-means： 相似度度量对于高纬样本不准确 谱聚类： 核函数很难确定 子空间聚类：依赖线性子空间假设构建亲和矩阵，但数据在很多情况下并不自然地符合线性模型。 深度聚类：将embedding和聚类作为一个单一的过程来获得最优嵌入(或表示)空间的聚类。 现有的大
论文泛读·Adversarial Learning for Neural Dialogue Generation
01-03 278
原文翻译 导读 　　这篇文章的主要工作在于应用了对抗训练（adversarial training）的思路来解决开放式对话生成（open-domain dialogue generation）这样一个无监督的问题。 　　其主体思想就是将整体任务划分到两个子系统上，一个是生成器（generative model），利用seq2seq式的模型以上文的句子作为输入，输出对应的对话语句；另一个则...
Adversarial Learning for Neural Dialogue Generation
liuyuemaicha的专栏
03-06 5254
Adversarial Learning for Neural Dialogue Generation文献的重点翻译和总结
Adversarial learning for distant supervised relation extraction
02-08
本文提出了一种基于生成对抗网络（Generative Adversarial Networks，GANs）的远监督关系抽取方法。在GANs中，一个神经网络作为负样本生成器，帮助训练期望的模型，相当于GAN中的生成器，而分类器则扮演了判别器的...
Adversarial Learning for Weakly-Supervised Social Network Alignment
02-08
在当今数字化时代，社交媒体已成为人们日常生活中不可或缺的一部分。...这种现象导致了用户在不同社交网络上拥有多个身份代表其独特的个人形象。如何将同一自然人在多个社交平台上的身份对齐，即社交网络对齐（Social ...
Generative Adversarial Imitation Learning 生成对抗的模仿学习
11-25
Generative Adversarial Imitation Learning Jonathan Ho Stefano Ermon
Python-AdversarialFeatureLearning的代码
08-11
"Adversarial Feature Learning"的代码
AdversarialDetection：此模型在推理期间和训练数据集中检测对抗性输入
02-18
对抗检测 该模型在推理过程中以及在计算机视觉模型的训练数据集中检测对抗性输入。
KDD 2019论文解读:异构信息网络上的对抗生成学习
chikuai9995的博客
08-19 582
前言 网络表示学习是一种在低维空间中表示网络数据的方法，在异构信息网络分析中得到了广泛的应用。现有的异构信息网络表示学习方法虽然在一定程度上实现了性能的提高，但仍然存在一些主要的不足。最重要的是，它们通常采用负抽样的方法从网络中随机选择节点，而不学习底层的分布以获得更鲁棒的表示。 受生成...
粗学Few-Shot Adversarial Learning
weixin_42057214的博客
10-29 707
元学习 元学习是机器学习的一个子领域，是将自动学习算法应用于机器学习实验的元数据上。是要“学会如何学习”，即利用以往的知识经验来指导新任务的学习，具有学会学习的能力。包括：终生学习，少样本学习，多任务学习，多智能体学习，学会学习，迁移学习。 深度学习 强化学习 是人工智能在训练中得到策略的训练过程，强化学习强调的是一个过程。例如，阿尔法狗围棋学习中，就会用到强化学习这样的自学习过程 ...
论文分享-- ＞Adversarial Learning for Neural Dialogue Generation
村头陶员外的博客
05-17 1579
本次要分享的论文是Adversarial Learning for Neural Dialogue GenerationAdversarial Learning for Neural Dialogue GenerationAdversarial\ Learning\ for\ Neural\ Dia...
论文引介 | Adversarial Learning for Neural Dialogue Generation
人工智能
04-09 6571
文章原名：Adversarial Learning for Neural Dialogue Generation 作者：Jiwei Li, Will Monroe, Tianlin Shi, Sebeastien Jean, Alan Ritter and Dan Jurafsky 单位：Stanford University, New York University and Ohio
KBGAN: Adversarial Learning for Knowledge Graph Embeddings理解
dreamweaverccc的博客
02-12 1946
本篇论文的主要创新点在于将GANs与Knowledge graph embeddings(KGE)相结合，提高了KGE的效率。 传统KGE方法通过随机替换fact的head或tail entity生成负样本，但这样的负样本往往与正样本的语义差别较大，对模型的训练没有帮助。 因此，本文提出KBGAN——损失函数为marginal loss function，带有softmax的KGE模型。KBGAN...
《Adversarial learning for weakly-supervised social network alignment》翻译
qq_39917365的博客
04-10 1201
如今，一个自然人加入多个社交网络来享受不同种类的服务是很常见的。跨多个社交网络连接相同的用户，也称为社交网络对齐，是一个重大的研究挑战的重要问题。现有的方法通常在成对的样本级别上链接社会身份，当可用的注释数量有限时，这可能导致性能表现并不优越。在同构信息的激励下，本文将社交网络中的所有身份作为一个整体来考虑，并从分布层面对社交网络进行对齐。我们的目标是学习一个投影函数，不仅最小化两个社交网络中用户身份分布的距离，而且将可用的标注作为学习指导。我们提出了三种模型$SNNA_u$、$SNNA_b$和$SNNA_
adversarial learning
最新发布
03-16
对抗学习（adversarial learning）是一种机器学习技术，它通过让两个模型相互对抗来提高模型的性能。其中一个模型是生成模型，它试图生成与真实数据相似的数据；另一个模型是判别模型，它试图区分生成的数据和真实...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值