论文笔记
Reza.
宾州州立大学博士在读,主要做点NLP。
个人主页:https://renzelou.github.io/
展开
-
梯度中心化 Gradient Centralization 论文理解
前几天在机器之心看到推送,说是有研究者推出了一种新的梯度优化的方法,标题蛮有噱头的:直接对梯度下手,阿里达摩院提出新型优化方法,一行代码即可替换现有优化器一行代码?真的那么厉害吗。后来去读了一下论文地址Github地址...原创 2020-04-16 03:01:11 · 2712 阅读 · 3 评论 -
Improving the Efficiency of Grammatical Error Correction with Erroneous Span Detection and Correctio
EMNLP20,GEC(Grammar Error Correct)比较近的一篇文章,没啥太多的novelty,主要是用了RoBertA,和以往的neural方法一样,seq2seq model,只是将detect和correct这两个模块解耦,对detect出来的error span进行correct,速度快,能够跨语言,比较适合工业上的使用,对学术上来说并不能产生很惊艳的效果。Introduction没啥好说的,就是在传统seq2seq的基础上把encoder-decoder分为了GED(detec原创 2020-12-08 18:03:37 · 467 阅读 · 0 评论 -
Enhancing Automated Essay Scoring Performance via Fine-tuning Pre-trained Language Models with Combi
EMNLP20,AES里面为数不多的中顶会的文章。contribution:第一个在AES里面使用了BERT,同时提出了使用 regression 和 ranking 互补,来进行fine-tune,效果会比较好。可以当做目前为止,BERT在AES中的一个baseline.laboratory,大量的实验和比较,分析了当前各种AES的方法之间的优劣和对此的原因。一个AES领域比较好的归纳,也可以当做是一篇review来看novelty其实不大,主要是用了一个互补loss,基本思想就是觉得一开始原创 2020-11-28 19:46:08 · 570 阅读 · 0 评论 -
Matching the Blanks: Distributional Similarity for Relation Learning
主要是两个contribution对照试验:证明了在RE里面BERT使用entity marker 和 entity start的效果是最好的训练方法:提出了一种和原始BERT类似的自监督任务训练模型,并且构造了对应的数据集原创 2020-09-17 18:12:45 · 1037 阅读 · 1 评论 -
Virtual Adversarial Training: A Regularization Method for Supervised and Semi-Supervised Learning
VAT–一种普适性的,可以用来代替传统regularization和AT(adveserial training)的NN模型训练鲁棒性能提升手段,具有快捷、有效、参数少的优点,并天然契合半监督学习。1. abstract & introduction主要介绍了传统random perturbations的不足之处以及motivation。一般而言,在训练模型的时候为了增强loss,提升模型的generalization,我们通常会在原先的loss objection后面加上一个惩罚项,这个操作叫原创 2020-09-02 01:14:20 · 2049 阅读 · 2 评论 -
Open Relation Extraction- Relational Knowledge Transfer from Supervised Data to Unsupervised Data
背景知识:distant supervised :通过将知识库与非结构化文本对齐来自动构建大量训练数据,减少模型对人工标注数据的依赖,增强模型跨领域适应能力;metric learning :学习一个度量相似度的距离函数:相似的目标离得近,不相似的离得远louvain 聚类 :社群发现中,一种性能比较好的,能够自动找cluster的聚类方法paper解读1. introduction & related work总结了一下RE目前的研究现状,传统RE只是把sentence给encode一原创 2020-07-11 20:00:01 · 745 阅读 · 0 评论 -
5.20 论文阅读课题探寻总结
在这个特殊的日子,idea总算获得了drogzhang的肯定,虽说不确定的点还有很多,工作量估计也不小,细节上可行性还有待商榷。但是总算确定了接下来的工作目标,单身狗的快乐源泉。接下来就是调研,要加把劲。...原创 2020-05-21 00:02:25 · 169 阅读 · 0 评论 -
论文笔记(5.19,文本抗击,sentence)--Adversarial Sets for Regularising Neural Link Predictors
第一个对关系数据库(Knowledge graph)的关系预测问题提出攻击模型的。self:inconsistency loss和fact loss的极大极小优化方法,或许可以借鉴原创 2020-05-20 00:46:17 · 229 阅读 · 0 评论 -
论文笔记(5.19,文本抗击,sentence)--Adversarial Example Generation Controlled Paraphrase
和我的想法撞上了,终于看到一篇讲转述攻击的了。paper没有什么太多的novel的东西。counterpart paragraph 用的是别人的,phrase用的也是别人的.语句晦涩、略显含糊,细节部分描述很少,模型架构复杂,时间开销不小缺点很多(不服)...原创 2020-05-19 21:32:00 · 259 阅读 · 0 评论 -
论文笔记(5.18,文本抗击,word)
基于基因算法的黑箱query随机采样,依据embedding选择替换词集,利用counter-fitting过滤一些非近义词,再利用LM过滤句意改变较大的词。最后选择对结果影响最大的替换。缺点:黑箱的普遍缺点:多次query、下游依赖、攻击效果差。没有判断词性、语法正确性。模型retrain的效果非常不好。self:短文本攻击任务更加困难...原创 2020-05-19 00:07:32 · 218 阅读 · 0 评论 -
周志 (5.11-5.17,文本抗击)
从5.11日开始对该领域一片空白,到现在5.17晚,对文本攻击有了一个大致全面的掌握。为什么要会有这个领域?企业工程角度:安全性、民众信任深度学习角度:DNN模型的不可解释与其快速发展之间的gap研究者的角度:CV的借鉴、NLP处理的困难、领域的相对空白研究的目地检测数据集(分布、内容上的不合理,诱导模型)模型(模型本身的能力不足、虚假学习、trick表现)鲁棒(根本目的,研究初衷)扩充数据集(类似于数据增强)挖掘模型性能(retrain)防御企业工程更加关注(并没有解决原创 2020-05-18 00:20:11 · 261 阅读 · 0 评论 -
论文笔记(5.17,文本抗击,sentence)--Evaluating and Enhancing the Robustness of Dialogue Systems: A Case Study
一种任务导向型协商对话系统的动态攻击策略,一个非常难的任务;分析比较了白盒黑盒的攻击方案novel:开路人离散优化的替代方法(Yang et al., 2018)Reactive attack、Preemptive attack、delay attack等。思想都有值得借鉴的地方...原创 2020-05-17 22:02:37 · 324 阅读 · 0 评论 -
论文笔记(5.17,文本抗击,word)--Generating Natural Language Adversarial Examples through Probability Weighted
利用wordnet选择同义词,在同义词中选择对输出概率影响最大的最为替代词。score的方法是首先计算每个单词的显著程度(其实就是把这个单词去掉之后看对最后分类概率的影响)综合其候选的替代词的影响程度的加权分数。排序之后依次按照显著程度递减顺序对词做替换,直到分类出错。优点:对原始样本改动的词数量少(PWWS本来就是一种greedy策略)缺点:候选词只有一个候选词没有判断词性、句意、语法的改变和合理程度黑箱策略,多次query(候选词+score),还需要排序,时耗大,且攻击效果并不理想仅原创 2020-05-17 20:00:05 · 481 阅读 · 0 评论 -
论文笔记(5.17,文本抗击,word)--Is BERT Really Robust? A Strong Baseline for Natural Language Attack on Text
一种不怎么novel的攻击方法self:1.rank word importance是重要的2.替换词选择语义相仿的3.越是困难的下游任务,越是strong的模型·,生成的攻击样本质量越高原创 2020-05-17 16:54:48 · 479 阅读 · 0 评论 -
论文笔记(5.16,文本抗击,character)--On Adversarial Examples for Character-Level Neural Machine Translation
novel:1.分析了白箱黑箱、controlled/uncontrolled(单词消音)、target/untarget攻击之间的区别2.character级别的NMT,针对性攻击3.白、黑箱对抗样本,训练模型鲁棒对比分析4.各种自然噪声(FIDS)分布概率5.one-shot:仅需一次前向反向,每个词独立局部地选择最优的攻击方法,减少排序时间。...原创 2020-05-17 01:06:27 · 481 阅读 · 0 评论 -
论文笔记(5.16,文本抗击,Multi)-- HotFlip: White-Box Adversarial Examples for Text Classification
字符级的白箱gradiant方法—HotFlip提出了基于character的one-hot梯度攻击的方法。同样可以应用到word-level.将character的更改用向量表示,针对下游loss,寻找梯度最大的方向更改。缺点是一个单词只更改一个character,而且没有score;word-level词表过大,one-hot的计算消耗怎么考虑。...原创 2020-05-16 22:00:28 · 848 阅读 · 0 评论 -
论文笔记(5.16,文本抗击,character)--Symposium on Security and Privacy Workshops
运用TS、TTS方法计算word的重要性(其实就是每个词跑两个方向RNN判断这个词对整个句子的影响程度)只是为了让word被修改成UNK,可能越过理想边界。个人觉得无非生成了UNK,本来就是依赖于关键词信息的任务而已,不过character级别的基本也就这样了。...原创 2020-05-16 18:26:54 · 479 阅读 · 0 评论 -
论文笔记(5.16,文本抗击,defense)--Combating Adversarial Misspellings with Robust Word Recognition
提出了两种构建鲁棒模型的方法(针对character攻击)1.foreground & background的错词检测器(前者细语料,后者大语料。fore失效,调用back实现高命中,类似于多级cache)2.实验多种文本粒度的下游分类器对character的鲁棒程度self:只要不更改头尾character,那么就不会影响人类对word的判断(理想决策边界)。“a”在每一个类里分布都相似各种架构的模型的性能:word-only >word+char > char-onl原创 2020-05-16 15:52:33 · 201 阅读 · 0 评论 -
论文笔记(5.15,文本抗击,defense)--Build it Break it Fix it for Dialogue Safety
又是一种human-in-loop的方法,用于检测攻击言论,采用检测、收集攻击样本、重新训练的方法让模型更加鲁棒原创 2020-05-15 23:37:59 · 318 阅读 · 4 评论 -
论文笔记(5.15,文本抗击,defense)--Learning to Discriminate Perturbations for Blocking Adversarial Attacks in
采用对模型添加部件的方式来让模型进行防御主要用来防御word-level、characters-level的攻击(很没水平的攻击样本)用三个组件:Perturbation Discrimination Perturbation 嫌疑词检测基于上下文语境特征抽取器(BERT等),输入到二分类器,对每个token做一个扰动辨别,找到句子中的嫌疑词Embedding Estimator 原始词义猜测还是利用BERT等,使用嫌疑词掩码,抽取给定窗口上下文特征eToken-level Recovery原创 2020-05-15 13:01:30 · 398 阅读 · 1 评论 -
论文笔记(5.14,文本抗击,word)--UNIVERSAL ADVERSARIAL ATTACKS ON TEXT CLASSIFIERS Melika
普适性的word序列扰动,利用梯度的方法找到一些所有data都适用的出入word list,可以在文本中插入直接生成攻击样本。在各种模型上攻击效果都很好,(干扰那么大,人可能都会受到扰动)有价值的点:1.普适性的样本干扰数据,计算方法2.target/no target的处理3.对于序列模型,干扰点在头部插入效果更好4.Bi-LSTM居然也是头部。假双向。...原创 2020-05-15 00:58:19 · 316 阅读 · 0 评论 -
论文笔记(5.14,文本抗击,sentence)--Adversarial Examples for Evaluating Reading Comprehension Systems
贡献1文本攻击的思路的开路2.提出了模型能够捕捉干扰样本的漏洞,产生虚假防御通过变换句式,替换为相反词(现在已经被证实是不正确的),换answer为同类型,然后将更改后的干扰加入到paragraph的末尾生成对抗集合(生成样本距离太远、模型选择性忽视干扰,再次trick人类),效果不尽人意...原创 2020-05-14 23:27:25 · 583 阅读 · 0 评论 -
论文笔记(5.14,文本抗击,word)--Word-level Textual Adversarial Attacking as Combinatorial Optimization
两个novel的点:1.义原2.粒子群搜索能够将空间集群的SPO运用到替换词搜索上,衔接很合理。而且基于文本的离散性,不是采用直接更新空间,而是采用“是否移动”的概率思想;并且向全局最优靠拢,打破了空间的限制,运用了spo的思想,却又让每个sentence在独立的空间里“移动”。离散的样本,离散的搜索空间,离散的运动...原创 2020-05-14 20:04:20 · 766 阅读 · 1 评论 -
论文笔记(5.13,relation extraction,review)--A Survey of Deep Learning Methods for Relation Extraction
信息抽取(information extraction)是NLP领域一个非常大的问题,它包含命名实体识别(NER),关系抽取(RE),事件抽取(EE)。这里着重讨论RE:传统非神经网络方法feature based methodskernel based methods传统机器学习方法会消耗大量的人工资源,现在不太常用数据集ACE 2005 datasetcontains 599 documents re- lated to news and email and contains re原创 2020-05-14 01:19:58 · 757 阅读 · 0 评论 -
论文笔记(5.13,文本抗击,sentence)--Trick Me If You Can: Human-in-the-Loop Generation of Adversarial Examples
举行了一次人机对战比赛,基于Quizbowl问答任务,通过实验对比了多种传统模型的鲁棒性能,分析了传统模型对于理解性任务的局限现象的产生原因,以及人机互补的概念。paper的价值主要在于:1.通过human-in-loop的方式生成高质量的问答对抗样本2.对传统问答模型的鲁棒性能进行剖析实验结果1.RNN相较于IR更加脆弱基于RNN的问答系统更加容易受到语法语义上的干扰;IR系统则对一些特定的单词更加敏感2.人类和模型能力互补在前半段问题里,机器效果优于人类,而到后半场随着透露的信息越来原创 2020-05-13 16:46:28 · 368 阅读 · 0 评论 -
论文笔记(5.12,文本抗击,sentence)--Robust Machine Comprehension Models via Adversarial Training
QA数据集,提出了一种在ADDsent对抗生成算法上的改进算法–AddSentDiverse。同样是为了消除原先算法生成的数据中潜在的统计规律,让模型无法忽略干扰的影响。对抗样本消统Random Distractor Placement不同于ADDsend将distractor放到context的文末,采用随机插入的方法可以保证在不改变原先数据的依赖分布的前提下,对模型产生干扰,让模型无法忽略distractor的存在。Dynamic Fake Answer Generation将...原创 2020-05-13 01:54:46 · 498 阅读 · 0 评论 -
论文笔记(5.12,文本抗击,sentence)--Robust Neural Machine Translation with Doubly Adversarial Inputs
提出了一种针对NMT的模型鲁棒性强壮思路攻击文本生成算法AdvGen多模型连带训练攻击样本生成扰动encoder输入对于输入的第i个token —— xi,xi’是从Vocab中找到的,使得余弦相似度最大的token,余弦相似度计算的两个输入分别是,xi的gradient loss和新旧token之间的vector距离。全部Vocab搜索计算消耗过大,采用贪婪思想,运用动态vocab减小搜索范围现在需要定义一个Q,在给定句子X和第i个位置的前提下,能够计算该位置上,和原单词xi的所有Vx原创 2020-05-12 23:59:16 · 387 阅读 · 0 评论 -
论文笔记(5.12,文本抗击,sentence)--Probing Neural Network Comprehension of Natural Language Arguments
针对于ARCT数据集,对BERT的0.77准确率表示怀疑。ARCT任务即给定论点(claim)、原因(reason)、论据(warrant),让模型判断该推理是否正确。推理问题被实验证明,任何一个单一推理系统的准确率,理论上不应该超过0.60的准确率(很多推理需要前置知识,给定的信息不足以产生确信的推理)实验1为了知道BERT到底再ARCT任务集上学到了什么信息才能有这样的准确率,paper定义了两个衡量指标:Productivity和coverage64%的数据集中只要在论据中包含‘not’,原创 2020-05-12 15:10:07 · 383 阅读 · 0 评论 -
论文笔记5.11--文本对抗攻击(review)
针对文本做一些扰动攻击, 不同于图像的连续数据,文本的数据是离散的(例如embedding),因此扰动会对网络的判断造成影响,但是对人来说个别单词的谬误并不会影响到整个句子得理解。相较于视觉,文本的对抗更加困难。像素上的扰动会让模型误判,但是对人的判断无法造成明显影响,这就足以说明DNN的某些地方的鲁棒性差;然而文本的扰动则是词法句法的错误甚至缺失,不只模型连人也会有明显的察觉(但是人有储备知识和推理理解的能力,可以纠错)。有研究表明,DNN的线性性质是导致模型误判的原因,另外还有输入太过干净对于攻击原创 2020-05-12 00:09:23 · 597 阅读 · 0 评论