17.Interpretable Adversarial Perturbation in Input Embedding Space for Text

最新推荐文章于 2024-06-21 10:46:05 发布
最新推荐文章于 2024-06-21 10:46:05 发布
阅读量446 收藏 2
点赞数
分类专栏： 文章总结
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jing___yu/article/details/96310206
版权

该文章对本人博客论文5.Adversarial Training Methods for Semi-Supervised Text Classification做了进一步的解释实验。
在这里插入图片描述

论文5针对NLP中半监督问题提出了解决的方案。
1.对抗训练是一种数剧增强的方法 ，即在原数据基础上求其一个最大的扰动，得到其对抗样本。
在这里插入图片描述
在这里插入图片描述
2.虚拟对抗是针对半监督学习，对于没有标签的那一部分，根据KL散度，生成其对抗样本，并将二者的KL散度作为目标函数。
在这里插入图片描述
在这里插入图片描述
本文将r的搜索空间限制在一个线性空间上，得到其真实的对抗样本，即该对抗样本可以对应具体的自然语言。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
通过文本分类任务和文本标注任务可以看到，该方法和原来方法效果差不多，即可用得到真实的对抗样本解释原论文中的对抗样本。
在这里插入图片描述

Jingyu@
关注
专栏目录
通用对抗扰动——Universal adversarial perturbations
weixin_48654804的博客
10-19 5104
Universal adversarial perturbations 来自CVPR2017的一篇论文。引用量也上千了。 https://openaccess.thecvf.com/content_cvpr_2017/html/Moosavi-Dezfooli_Universal_Adversarial_Perturbations_CVPR_2017_paper.html 概述 对抗样本，众所周知，其目的就是在图像中添加一个扰动，使得图像在推理环节中给出错误的输出。也就是： f(x+δ)≠f(x)f(x+\
Universal adversarial perturbations(翻译，侵删)
bash_winner的博客
02-10 979
Universal adversarial perturbations(通用对抗扰动) 原文链接 https://www.researchgate.net/publication/309460742_Universal_adversarial_perturbations 摘要 考虑到一个顶尖的深度神经网络分类器，我们展示了一个通用（图像不可知）和非常小的扰动向量的存在，它会英气自然的图片，以一个很高的置信度被误分类。我们提出了一个系统的算法来计算通用扰动，来展示顶尖的深度神经网络对于这类扰动的高度的脆弱性，
【深度学习NLP论文笔记】《Interpretable Adversarial Perturbation in Input Embedding Space for Text》
野心家-Andy的博客
08-21 2232
Abstract 在CV领域，常常用对抗训练（adversarial training）来产生扰动并提高模型鲁棒性，但如果把这种方法直接应用在词嵌入空间会丢失可解释性（interpretability）。本文提出的方法就是对嵌入空间的单词做扰动方向上的约束（restrict the direction of perturbation），从而保留了可解释性。 1 Introduction ...
Adversarial Perturbations
zhangconghh的博客
10-11 1100
这里写自定义目录标题Adversarial Perturbations新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 Adversarial Perturbations 你好！ 这是你第一次使用 Markdown编辑器 所
【论文阅读 | 对抗攻击】《Low Frequency Adversarial Perturbation》
Kevin_Heidashuai的博客
08-19 592
目录方法 方法 We sample the noise vector η uniformly from the surface of the unit sphere of radius ρ > 0 in the rd × rd LF-DCT space and project it back to RGB through the IDCT transform. 不同 rrr 对抗样本相对原始图片的改变如下图所示： ρ\rhoρ 固定，随着 rrr 的减小，对抗样本和原始图片的 MSE 增大，对抗攻击
CVPR 2021最全论文开放下载！附pdf下载链接！
中科院AI算法工程师的博客
06-18 1万+
CVPR 2021最全论文开放，附所有pdf下载链接！
（九：2020.08.27）CVPR 2019 追踪之论文纲要（译）
Jojo论文基地
08-28 8798
CVPR 2019 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这900篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录 论文 概要
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
【论文阅读笔记】NeurIPS2020文章列表Part1
热门推荐
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
GAN汇总
简简单单
12-26 3008
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
Adversarial Perturbation Constraint对抗扰动约束
最新发布
一季南凉的博客
06-21 424
对抗扰动约束是关于在生成对抗样本时施加的限制条件，以确保这些样本能够有效欺骗模型且满足一定的规范。理解和研究这些约束对于提升模型的安全性和鲁棒性具有重要意义。
Pre-trained Adversarial Perturbations-对抗机器学习论文
m0_57572083的博客
10-20 1068
Pre-trained Adversarial Perturbations 对抗机器学习论文
对抗攻击相关术语
10-10 1447
在阅读对抗攻击相关文献的时候，经常遇到一些专业术语，经过查找资料在这里整理下相关笔记。 1.对抗样本/图片（Adversarial Example/Image） 对抗样本/图片指的是在原始样本添加一些人眼无法察觉的噪声，这样的噪声不会影响人类的识别，但是却很容易愚弄模型，使其做出与正确答案完全不同的判定。 2.对抗干扰（Adversarial perturbation） 使得原始图片成为对抗样本所需要添加的噪声。 3.对抗训练（Adversarial Training） 除了原始图片样本之外还使
对抗攻击常用术语
tian__si的博客
11-12 479
【时间】2018.12.22 【题目】对抗攻击（Adversarial attacks）的常用术语 概述      本文是论文《Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey》中Section 2 的翻译，主要讲述了对抗攻击（Adversarial attacks）的常用术语。...
ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION
qq_36709635的博客
10-20 1473
标题
论文解读《Adversarial training methods for semi-supervised text classification》
yy的博客
08-10 328
将离散单词输入转化为连续向量，定义单词嵌入矩阵:其中 KK 指代单词数量，第 K+1K+1 个单词嵌入作为序列 结束(eoseos)令牌设置对应时间步长的离散单词为 w(t)w(t) ，单词嵌入为 v(t)v(t)针对文本分类问题使用 LSTM 模型或双向 LSTM 模型 由于扰动为有界范数，模型在对抗性训练过程中可能 通过 “学习具有较大范数的嵌入使扰动变得不重要” 的病态解决方案，因此需将嵌入进行规范化：其中 fifi 表示第 ii 个单词的频率，在所有训练示例中进行计算。略。
读书笔记17：Adversarial Attacks on Neural Networks for Graph Data
b224618的博客
09-05 7805
https://arxiv.org/pdf/1805.07984.pdf 看过之后有一个思考，adversarial attack的目标是事先选定一个class，然后选择攻击方式，尽可能使得模型把样本分类成这个类别，并且class probability和原class的probability拉开差距，但是可不可以将目标设定为最小化原分类class的probability，也就是只将目标定位为使t...
一文读懂文本处理中的对抗训练
Paper weekly
06-05 3374
作者丨WenZe、Leo单位丨追一科技AI Lab研究员背景与研究意义深度学习技术的快速发展，大幅提升了众多自然语言处理任务（比如文本分类，机器翻译等）的效果，越来越多的...
文献记录－ADVERSARIAL TRAINING METHODS FOR SEMI-SUPERVISED TEXT CLASSIFICATION
weixin_42681868的博客
06-24 1049
文献地址： https://arxiv.org/pdf/1605.07725.pdf 摘要： ＂对抗训练＂提供了一种正则化的监督学习算法． ＂虚拟对抗训练＂能够将监督学习算法拓展到半监督学习的环境中． 两者都是对输入向量进行较小的扰动，不适用于稀疏高维的输入向量． 从而提升泛化能力． 简介： 先前的对抗训练主要应用与图像分类，本文中要拓展到文本分类任务和序列模型． 本文的对抗训练就是对输入相连进行小的修改． 模型： 如上图左边是一个常规的双向LSTM,输入的稀疏向量w 被转化为连续向量v时候，输入到ＬＳ
Error in if (include.site) .Library.site : argument is not interpretable as logical
07-12
这个错误通常是因为 `include.site` 参数的值不能被解释为逻辑值所引起的。`include.site` 参数用于指定是否包含 R 安装包的系统库（site library）。 请确保 `include.site` 参数的值是 `TRUE` 或 `FALSE`，而不是...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值