论文浅尝 | 用对抗学习做知识表示（NAACL2018）

最新推荐文章于 2022-10-16 16:22:34 发布
最新推荐文章于 2022-10-16 16:22:34 发布
阅读量1.2k 收藏 5
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/85810997
版权
这篇NAACL2018论文提出用生成对抗网络（GANs）改进知识图谱中负样本的生成，解决传统方法生成的负样本质量不高的问题。通过概率的log损失学习模型作为生成器，基于距离的边缘损失模型作为判别器，并采用强化学习策略处理离散步骤的梯度问题。实验表明，该方法在FB15K-237, WN18, WN18RR数据集上取得良好效果。" 129050855,5599554,深度学习：SC-DepthV3自监督单目深度估计技术解析,"['深度学习', '计算机视觉', '自监督学习', '深度估计', '图像处理']
摘要由CSDN通过智能技术生成

640?wx_fmt=png

论文链接：https://arxiv.org/pdf/1711.04071.pdf

代码链接：https:// github.com/cai-lw/KBGAN

 

本文针对在生成负样本时有大部分负样本可以很好地和正样本区分开，对训练的影响不大，提出了使用生成对抗网络（GANs）的方法，解决生成的负样本不够好的问题。它是第一个考虑用对抗学习生成负样本的工作。

设计模型时，本文把基于概率的log损失的表示学习模型作为生成器得到更好的负样本质量；使用基于距离的边缘损失的表示学习模型作为判别器得到表示学习的最终结果。由于生成器的步骤离散导致不能直接运用梯度反向传播，对此作者使用了一步强化学习设置，使用一个降低方差的强化方法实现这个目标。

方法上本文先列举了两种损失函数：

(1)Margin loss function:

640?wx_fmt=png

(2)Log-softmax loss function:

最低0.47元/天 解锁文章
开放知识图谱
关注
知识图谱-KGE-对抗模型-2018：KBGAN
u013250861的博客
11-24 755
将生成对抗的思想引入到 KGE，本文的具体做法是对每个 KGE 任务，使用两个模型，一个模型（双线性模型如 DistMult 或 ComplEx）用作生成器，生成高质量的负样本，另一个模型（TransE 或 TransD）做判别器，用正样本和生成器给出的负样本训练 embedding。普通的负采样方法，对正样本三元组的头实体或尾实体从实体集中随机采样替换，生成的负样本是很明显的错误样本，很容易通过实体的类型区分开来，比较“高级”的负样本是尽量“替换同类型实体”的负样本三元组。生成器和判别器都需要预训练。
对抗学习课的论文
JN102的博客
07-07 336
一周写一篇论文，老师真的太看得起我们了。 虽然只是写一下idea，但是我一个连机器学习课都还没上完的人真是觉得头大。在厚着脸皮和大腿们讨论之后，又拿着老师的课程大纲找了几篇论文，但两三天时间实在不够，勉强写了一些introduction和related work就交了QAQ。 ...
对抗样例论文学习一
下一站十字路口
12-25 669
对抗样例的主要主要思想就是在神经网络的输入端加入一个不以觉察的小扰动，但是在经过神经网络预测后造成误判。 这样的样本叫做 adversarial example（对抗样本）。 以下主要针对对抗样例的一些paper进行解读： 第一篇对抗样例文章： Christian Szegedy等人在2014年发表一篇文章，Intriguing properties of neural networks
AllenNLP系列文章之七：ELMO
热门推荐
大数据挖掘SparkExpert的博客
04-27 1万+
　　在AllenNLP的主页上有个单独的菜单（http://allennlp.org/elmo），一直不太了解为何将它单列出来，主要在AllenNLP的许多任务中如文本蕴含里面等已经用到了这个模型所产生的词向量。　　1、论文原理　　从其主页上的介绍可知，该论文来自NAACL2018的论文。IntroductionELMo is a deep contextualized word represen...
对抗样例论文学习三
下一站十字路口
01-02 618
adversarial examples in the physical world 这是 Goodfellow 在ICLR 2017会议上的论文。 目前攻击样例，攻击者均是直接对抗图像喂给分类器，但是这个在现实世界中可能不是那么容易。所以作者模拟了通过相机捕捉的对抗图像，观察现实世界中的对抗效果。因为经过照相和打印，会对原有图像进行了些许的扰动，可能会影响攻击的效果。 作者使用谷歌Ince
论文浅尝 | 对于知识图谱嵌入表示的几何形状理解
开放知识图谱
12-11 2232
论文链接：http://anthology.aclweb.org/attachments/P/P18/P18-1012.Presentation.pdf发表会议：ACL ...
论文浅尝 | 利用图 Transformer 实现基于知识图谱的文本生成
开放知识图谱
09-01 5335
论文笔记整理：谭亦鸣，东南大学博士生，研究方向为跨语言知识图谱问答。来源：NAACL2019链接：https://arxiv.org/pdf/1904.02342.pdf...
论文浅尝 | Wordly Wise(WoW) - 用于语音视觉知识问答的跨语言知识融合模型
开放知识图谱
11-27 2159
笔记整理: 谭亦鸣，东南大学博士生来源：NAACL’21链接：https://aclanthology.org/2021.naacl-main.153.pdf论文提出了一种新的知识图谱问答...
论文浅尝 | 利用知识图谱嵌入和图卷积网络进行长尾关系抽取
开放知识图谱
07-05 3368
论文笔记整理：王狄烽，南京大学硕士，研究方向为关系抽取、知识库补全。链接：https://arxiv.org/pdf/1903.01306.pdf发表会议：NAACL20...
对抗样本论文学习：Deep Neural Networks are Easily Fooled
故事我有，我不喝酒
11-14 1643
近日看了一些对抗样本（adversarial examples）方面的论文，在这里对这些论文进行一下整理和总结。 以下仅代表个人理解，本人能力有限难免有错，还请大家给予纠正，不胜感激。欢迎一起讨论进步。 对抗样本（adversarial examples）和对抗学习（GAN）截然不同，这一概念在Szegedy et al. (2014b)中提出：对输入样本故意添加一些人无法察觉的细
【论文推荐】了解《对抗学习》必看的6篇论文（附打包下载地址）
weixin_48294000的博客
02-28 843
论文推荐“SFFAI139期来自美国莱斯大学的傅泳淦推荐的文章主要关注于基础研究的对抗学习领域，你可以认真阅读讲者推荐的论文，来与讲者及同行线上交流哦。”关注文章公众号回复"SFFAI13...
最新最全深度对抗学习论文合集
AI_Conf的博客
01-19 257
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 论文集地址：https:/.
KBGAN: Adversarial Learning for Knowledge Graph Embeddings理解
dreamweaverccc的博客
02-12 1946
本篇论文的主要创新点在于将GANs与Knowledge graph embeddings(KGE)相结合，提高了KGE的效率。 传统KGE方法通过随机替换fact的head或tail entity生成负样本，但这样的负样本往往与正样本的语义差别较大，对模型的训练没有帮助。 因此，本文提出KBGAN——损失函数为marginal loss function，带有softmax的KGE模型。KBGAN...
NAACL 2018 ACCEPTED PAPER
AI小白入门的博客
10-02 7729
COLING 2018 接受论文列表地https://naacl2018.wordpress.com/2018/03/02/list-of-accepted-papers/ 详细如下： A BI-MODEL BASED RNN SEMANTIC FRAME PARSING MODEL FOR INTENT DETECTION AND SLOT FILLING Yu Wang, Yilin Shen...
最新！2022年6月80篇GAN/对抗论文汇总
idol24的博客
07-07 1140
001 (2022-07-6) MetroGAN Simulating Urban Morphology with Generative Adversarial Network https://arxiv.org/pdf/2207.02590.pdf002 (2022-07-5) RepMix Representation Mixing for Robus...
对抗学习必读论文集推荐-AMiner
AI_Conf的博客
11-19 248
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数据和实验平台。 必读论文：https://www.aminer.cn/topic 对抗学习是一种很新的机器学.
对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）
最新发布
m0_57572083的博客
10-16 1424
对抗机器学习论文-Towards Deep Learning Models Resistant to Adversarial Attacks（PGD）
基于生成对抗的知识图谱零样本关系学习 AAAI2020
u013602059的专栏
04-20 1894
论文来源：AAAI 2020 论文链接：https://arxiv.org/pdf/2001.02332.pdf 本文是发表在AAAI2020上的一篇基于生成对抗网络进行知识图谱零样本关系学习的文章。在知识图谱表示学习（KG Embedding）的相关工作中，会出现一些未在训练数据集中出现过的关系（即 zero-shot relations），由于relation及其相关的三元组没有在训练数据集...
2022年NAACL对比学习教程：驱动NLP应用的新兴技术
该教程强调了对比学习的优势，比如在无监督或监督环境下，使用不同的损失函数来训练模型，使其既能适应特定任务，又能生成通用表示。 SimCLR（Chen等人，2020）这样的工作展示了在计算机视觉中的成功应用，它引入了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值