论文笔记（5.12，文本抗击，sentence）--Robust Machine Comprehension Models via Adversarial Training

最新推荐文章于 2022-05-19 12:02:12 发布
最新推荐文章于 2022-05-19 12:02:12 发布
阅读量498 收藏
点赞数
分类专栏： 论文笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43301333/article/details/106089369
版权

QA数据集，提出了一种在ADDsent对抗生成算法上的改进算法–AddSentDiverse。同样是为了消除原先算法生成的数据中潜在的统计规律，让模型无法忽略干扰的影响。

对抗样本消统

Random Distractor Placement

不同于ADDsend将distractor放到context的文末，采用随机插入的方法可以保证在不改变原先数据的依赖分布的前提下，对模型产生干扰，让模型无法忽略distractor的存在。
在这里插入图片描述
在这里插入图片描述

Dynamic Fake Answer Generation

将原先ADDsent采用的每种type固定替换词的方法，改为answer中的同类词替换
在这里插入图片描述

Semantic Feature Enhanced Model

在生成消统攻击样本的同时，提出在context/question中使用wordnet来增加同/反义词的指示符，从而让模型更好地学到问答中的情感信息。
在这里插入图片描述

self

虽然采用了一些方法弥补了ADDsent在生成攻击样本上的缺陷，但是ADDsent这种算法生成的distractor只是简单的entity replace，这种distractor的本身也并不是一种好的选择（畸形distractor）

Reza.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记 | Adversarial Examples for Evaluating Reading Comprehension Systems
u011150266的博客
06-11 741
作者：孙嘉伟 单位：燕山大学 文章目录前言一、解决的问题二、对抗数据生成方法 前言 这是一篇比较经典的论文，发表在EMNLP2017上面，可以说是文本对抗领域的开山之作，作者是Percy Liang 和Robin Jia。 论文地址：https://arxiv.org/pdf/1707.07328.pdf 代码地址：https://github.com/robinjia/adversarial-squad 一、解决的问题 文章所研究的问题是：阅读理解模型容易受到对抗样本的攻击。使用的数据集是经典的S
论文阅读汇总（1）-【篇数：50】
scu-liu的博客
02-03 3364
这一篇文章作为精读/泛读论文的一个汇总贴。 2021-2-3开始，期待刷到100篇的那一天。 交通大数据 20210203-《Long short-term memory neural network for traffic speed prediction using remote microwave sensor data》 主要内容：利用LSTM NN，先以历史道路速度数据为输入来预测未来的交通速度；然后又以道路速度和交通流量作为输入来预测未来的交通速度。并且通过与多种其他方法进行对比，来展示LST
armitage攻击没有attack_自然语言处理中的对抗攻击
weixin_39885690的博客
11-27 513
本期导读：对抗攻击起源于CV领域，但近年来针对NLP任务的对抗攻击(Adversarial Attack)越来越多，本文将选取其中比较有代表性的一些工作进行简要的介绍，重点阐述不同方法的区别与动机。•••简介首先介绍一下何为对抗攻击。通俗地来说，对抗攻击的目的就是让模型犯错(fail)：对模型的输入进行一些改动，使模型输出错误的结果，从而使模型的效果下降。举个例子[1]，在下图中，将原句...
NAACL 2018 ACCEPTED PAPER
AI小白入门的博客
10-02 7596
COLING 2018 接受论文列表地https://naacl2018.wordpress.com/2018/03/02/list-of-accepted-papers/ 详细如下： A BI-MODEL BASED RNN SEMANTIC FRAME PARSING MODEL FOR INTENT DETECTION AND SLOT FILLING Yu Wang, Yilin Shen...
NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
07-29 1万+
​ NLP之GPT-3：《 Language Models are Few-Shot Learners》的翻译与解读 目录 相关文章 《GPT-3: Language Models are Few-Shot Learners》的翻译与解读 Abstract 摘要 1 Introduction 介绍 2 Approach方法 3 Results 结果 4 Measuring and Preventing Memorization Of Ben
BERT(一)--论文翻译：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
05-19 1777
文章目录 1 Introduction(简介)2 Related Work（相关工作）2.1 Feature-based Approaches（基于特征的方法）2.2 Fine-tuning Approaches （微调方法）2.3 Transfer Learning from Supervised Data（在有监督数据上的迁移学习）3 BERT3.1 Model Architecture（模型结构）3.2 Input Representation（输入表示）3.3 Pre-training Tasks.
AAAI-19录用论文清单
热门推荐
TomRen
01-28 1万+
AAAI-19于1月27日在夏威夷召开，今年是33届会议。 会议录用论文清单, workshop16个，tutorials24个。 标题的词云分析： 作者单位词云(按作者人数计算/一篇文章可能有多个作者)： picture from lonelyplanet.com 下面给出接收论文的列表： 第一个数字表示投稿的序号&内容可能有缺失 9: CircConv: A S...
论文阅读汇总（4）-【篇数：50】
scu-liu的博客
07-05 697
本人学习所有系列：汇总帖 这一篇文章作为精读/泛读论文的一个汇总贴。 开始新的100篇~ 1-50：1-50汇总 51-100：51-100汇总 101-150：51-100汇总 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Recognition》 主要内容： 20210705- 《Directed Acyclic Graph Network for Conversational Emotion Reco
sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2
最新发布
07-18
标题 "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2" 提供的信息是关于一个自然语言处理（NLP）模型，该模型基于Sentence Transformers库，并且是多语言版本的。Sentence Transformers是一个Python...
Zero-Shot Cross-Lingual Machine Reading Comprehension via Inter-
01-04
本文主要探讨了零触发跨语言机器阅读理解（Zero-Shot Cross-Lingual Machine Reading Comprehension, ZSLMRC）的任务，这是一种无需在目标语言上进行训练，直接利用源语言知识解决其他语言阅读理解问题的方法。...
sentence-splitter:将{日语，英语}文本拆分为句子
04-08
npm install sentence-splitter 要求： Array.from Array#fill 命令行界面 $ npm install -g sentence-splitter $ echo "This is a pen. But, this is not pen" | sentence-splitter This is a pen. But This is ...
spacy-sentence-bert:用于SpaCy的句子转换器模型
05-05
Sentence-BERT的空间 该程序包直接在spaCy中包装（也称为 ）。 您可以将任何提供的向量替换为针对语义相似性进行了专门调整的向量。 建议使用以下模型来分析句子相似度，如STS基准所指示的。 请记住， sentence-...
sentence-boundary-detection:使用机器学习检测句子边界
05-09
句子边界检测 使用机器学习检测句子边界，使用朴素贝叶斯算法，您也可以使用选项-rnn训练LSTM，但是为获得不错的结果而训练时间太长。 Python版本 该项目已使用pyenv在python 3.5.2中进行了pyenv ...
梯度中心化 Gradient Centralization 论文理解
weixin_43301333的博客
04-16 2712
前几天在机器之心看到推送，说是有研究者推出了一种新的梯度优化的方法，标题蛮有噱头的： 直接对梯度下手，阿里达摩院提出新型优化方法，一行代码即可替换现有优化器 一行代码？真的那么厉害吗。后来去读了一下 论文地址 Github地址 ...
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
weixin_43301333的博客
09-02 2049
VAT–一种普适性的，可以用来代替传统regularization和AT（adveserial training）的NN模型训练鲁棒性能提升手段，具有快捷、有效、参数少的优点，并天然契合半监督学习。 1. abstract & introduction 主要介绍了传统random perturbations的不足之处以及motivation。一般而言，在训练模型的时候为了增强loss，提升模型的generalization，我们通常会在原先的loss objection后面加上一个惩罚项，这个操作叫
Matching the Blanks: Distributional Similarity for Relation Learning
weixin_43301333的博客
09-17 1037
主要是两个contribution 对照试验：证明了在RE里面BERT使用entity marker 和 entity start的效果是最好的 训练方法：提出了一种和原始BERT类似的自监督任务训练模型，并且构造了对应的数据集
论文笔记（5.16，文本抗击，Multi）-- HotFlip: White-Box Adversarial Examples for Text Classification
weixin_43301333的博客
05-16 848
字符级的白箱gradiant方法—HotFlip 提出了基于character的one-hot梯度攻击的方法。同样可以应用到word-level. 将character的更改用向量表示，针对下游loss，寻找梯度最大的方向更改。 缺点是一个单词只更改一个character，而且没有score；word-level词表过大，one-hot的计算消耗怎么考虑。 ...
论文笔记（5.14，文本抗击，word）--Word-level Textual Adversarial Attacking as Combinatorial Optimization
weixin_43301333的博客
05-14 766
两个novel的点： 1.义原 2.粒子群搜索 能够将空间集群的SPO运用到替换词搜索上，衔接很合理。而且基于文本的离散性，不是采用直接更新空间，而是采用“是否移动”的概率思想；并且向全局最优靠拢，打破了空间的限制，运用了spo的思想，却又让每个sentence在独立的空间里“移动”。 离散的样本，离散的搜索空间，离散的运动 ...
能不能写一个计算中文文本相似度的sentence-transformers代码
06-12
当然可以，以下是一个使用sentence-transformers进行中文文本相似度计算的示例代码： ```python from sentence_transformers import SentenceTransformer from scipy.spatial.distance import cosine import jieba # 加载预训练模型 model = SentenceTransformer('distiluse-base-multilingual-cased') # 定义两个中文文本 text1 = '我喜欢吃苹果。' text2 = '苹果是我最喜欢的水果。' # 对中文文本进行分词 text1_words = jieba.lcut(text1) text2_words = jieba.lcut(text2) # 使用模型将两个文本嵌入向量 embedding1 = model.encode(text1_words, convert_to_tensor=True) embedding2 = model.encode(text2_words, convert_to_tensor=True) # 计算两个向量的余弦距离，值越小表示两个文本越相似 similarity = 1 - cosine(embedding1, embedding2) print(similarity) ``` 输出结果为：0.8034411668777466，表示两个中文文本相似度较高。请注意，此示例使用的是 `distiluse-base-multilingual-cased` 模型，该模型支持多语言，包括中文。同时，我们使用了 jieba 库对中文文本进行了分词处理，因为 SentenceTransformer 接受的输入是一个词语列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值