卡比比比比-CSDN博客

原创 In Context Learning 相关分享

随着大模型（GPT3，Instruction GPT，ChatGPT）的横空出世，如何更高效地提示大模型也成了学术界与工业界的关注，因此In-context learning的方法在NLP领域十分火热。从时间线上看，它的演变历程大约是从Prompt learning（2021年初）到 Demonstration learning （2021年底）再到 In-cotnext learning（2022年初），但从方法原理上，他们却有很多相似之处。

2023-02-09 11:20:10 618 1

原创 [COLING 2018] Modeling Semantics with Gated Graph Neural Networks for KBQA 阅读笔记

大多数知识库问答方法都是基于的。在本文中，作者解决了由多个实体和关系组成的复杂语义解析的学习向量表示问题。以前的工作主要集中在为一个问题选择正确的语义关系，而忽略了语义分析的结构:**实体之间的联系和关系的方向。**我们建议使用门控图神经网络（Gated Graph Neural Networks）来编码语义解析的图结构。我们在两个数据集上显示，图形网络优于所有没有明确建模结构的基线模型。错误分析证实，我们的方法可以成功地处理复杂的语义分析。

2022-09-09 16:25:50 388

原创 Are We NER Yet? Measuring the Impact of ASR Errors on Named Entity Recognition in Spontaneous Con

贡献在本文中，我们研究了与识别命名实体的下游任务相关的 ASR-NLP 差距的真实大小。使用基准和内部数据集（他们自己做的数据集）的组合，我们展示了最先进的语言模型如何无法发现自发人类对话记录中命名实体主要类别的实体跨度（分析了问题的原因）。我们的第二个贡献是引入了一种新的 ASR 和 NER 模型联合评估方法。我们观察到传统的 NLP 指标不适合衡量模型在 ASR 转录本上的性能。受 DARPA 消息理解会议（DARPA’s Message Understanding Conferences）

2022-03-24 10:13:20 383

原创【coling 2020】Attentively Embracing Noise for Robust Latent Representation in BERT

原文链接：https://aclanthology.org/2020.coling-main.311.pdfintro本文针对ASR转化成文本之后的文本分类任务进行鲁棒性研究。作者基于EBERT进行优化，EBERT比传统bert的优点在于后者只使用输入的第一个【CLS】token生成输入的表征，其余的均丢弃，可是当文本带噪时单一的【CLS】token作为表征容易受到剧烈影响。Ebert则把丢弃的token作为额外信息的来源，与第一个【CLS】token共同生成输入表征，更具鲁棒性。作者对EBERT的

2022-03-24 10:12:53 367

原创 Randomized Substitution and Vote for Textual Adversarial Example Detection

文本对抗样本检测的随机替换和投票https://arxiv.org/pdf/2109.05698.pdf摘要这篇工作提出了一种对抗样本检测模块，针对检测出数据集中通过单词替换生成的对抗样本。方法Motivation对一个文本中的单词进行替换生成了预测和标签不一致的对抗样本，这个替换后的序列中，每个单词相互影响其他单词（相互交互），共同影响模型的判断，所以，受现有基于输入预处理的防御（Wang et al. 2021a; Zhou et al. 2021）的启发，我们观察到随机同义词替换可以破坏这

2022-03-24 10:12:38 224

原创【ACL2020】NAT: Noise-Aware Training for Robust Neural Sequence Labeling

原文链接：https://arxiv.org/abs/2005.07162NAT acl2020源码链接：https://github.com/mnamysl/nat-acl20201Intro对于有噪输入的序列标注问题，本文提出了2种Noise-Aware Training (NAT) 方法来提高有噪输入的序列标注任务系统的准确性和鲁棒性。作者还提出了模拟真实噪声的引入。实验部分，作者使用了原始数据及其变体，这些数据都被真实的OCR错误和拼写错误干扰。在英语和德语命名实体识别基准上的广泛实验证实，

2022-03-24 10:11:57 242

原创【EMNLP2021】Evaluating the Robustness of Neural Language Models to Input Perturbations

【EMNLP2021】Evaluating the Robustness of Neural Language Models to Input Perturbations原文链接：https://arxiv.org/abs/2108.12237扰动方法是使用NLTK库在Python中实现的。源码链接：https://github.com/mmoradi-iut/NLP-perturbationintroBERT/XLNet/GPT-2性能很好，在很多NLP任务上达到了SOTA，甚至超过了人类表现。

2022-03-24 10:11:45 282 1

原创【NIPS 2021】ASR-GLUE: A New Multi-task Benchmark for ASR-Robust Natural Language Understanding

原文链接：https://arxiv.org/abs/2108.13048数据集：https://drive.google.com/drive/folders/1slqI6pUiab470vCxQBZemQZN-a_ssv1Qintro本文提出了ASR-GLUE benchmark，包含6个不同的NLU任务的新集合，用于评估3种不同背景噪声水平和6个不同母语者的ASR误差下模型的性能。并在噪声强度、误差类型和扬声器变量等方面系统地研究了ASR误差对NLU任务的影响。之后采用了两种方法：基于校正的方法和

2022-03-24 10:11:14 317

原创【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》

【NAACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》阅读笔记英文标题：Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation中文翻译：利用人工标题生成抽象标题的对抗性领域适应原文链接: http://jcst.ict.ac.cn:8080/

2022-03-24 10:10:51 169 1

原创【ArXiv 2020】Tinybert: Distilling bert for natural language understanding

这篇文章基于语义空间嵌入和掩码语言模型来给 NLU 任务做增强，具体的做法是：首先利用BERT的分词器将序列中的单词分为多个词块（word pieces），BERT有两大分词器，BasicTokenizer 和 WordpieceTokenizer，其中BT是将句子分成基本的token，WPT是在BT的基础上利用贪婪最长优先匹配算法将单词分为词块（从左到右的顺序，将一个词拆分成多个子词，见如下动图）。这篇文章为每个词块形成一个候选集。候选集的生成方式如下：语义空间嵌入：如果词块不是一个完整的词（例

2022-03-23 13:05:16 899

原创【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》

【ACL 2021】《 DeCLUTR: Deep Contrastive Learning for Unsupervised Textual Representations》阅读笔记英文标题：DeCLUTR: Deep Contrastive Learning for Unsupervised TextualRepresentations中文翻译：DeCLUTR：无监督文本表示的深度对比学习原文链接: https://arxiv.org/pdf/2006.03659.pdf文章目录Abstra

2022-03-23 13:02:18 3964 1

原创【AAAI 2021】C2C-GenDA: Cluster-to-Cluster Generation for Data Augmentation of Slot Filling

通过 L 层 Transformer 对连接的多个输入话语进行编码，所提出的模型使用重复感知注意力和面向多样化的正则化来生成更多样的句子。解码后生成多个不与原话语重复且互相之间不重复的新话语。两个关键点是重复感知注意力机制以及多样性正则化，让序列生成器考虑到增强数据应不同于原生数据并互异。相比于 seq2seq DA，Cluster2Cluster DA 的效果如下：...

2022-03-23 12:48:13 622

原创【ACL2020】Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generat

Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation本文提出了一种用于ATE（识别情感目标——序列标注）任务的数据增强方法本文针对ATE任务数据缺乏的现状，提出了一种通过Masked Sequence-to-Sequence随机产生数据的数据增强方法。增强方法概括如下：目标：根据 mask 后的序列及其原始标签来重构被 mask 掉的片段，得到新序列采样：按照

2022-03-23 12:46:37 254

原创【COLING 2018】Sequence-to-sequence data augmentation for dialogue language understanding

基于 seq-seq 生成模型的对话语言理解 DA这篇文章的应用场景十分符合序列标注任务能用到的 DA 技术，核心是 Seq2Seq模型：输入一种表述的句子，生成不同表述的新句子。为了进一步鼓励多样化生成，我们把一种新的多样性等级嵌入到话语表示中。在训练seq2seq模型时，多样性等级也用于过滤相似的表述对。方法描述一、数据增强流程流程如图所示，当给定一个句话，我们首先通过抽槽操作进行去多样化，再将想要生成的不同多样化等级以token的形式加到语句表示中。然后我们把原句和多样化等级一起作为输入送入到

2022-03-23 12:38:12 151

原创【EMNLP2021】Data Augmentation for Cross-Domain Named Entity Recognition

链接： https://arxiv.org/abs/2109.01758代码：https://github.com/RiTUAL-UH/style_NER.Abs& Intro本文研究了通过数据投影将高资源域的数据投影至低资源域。具体来说，我们提出了一种新的神经架构，通过学习模式（如风格、噪声、缩写等），将数据表示从高资源领域转换为低资源领域。在区分它们的文本和将两个域对齐的共享特征空间中。我们对不同的数据集进行了实验，并表明，将数据转换为低资源域表示比仅使用来自高资源域的数据取得了显著的改

2022-03-23 12:33:23 455

原创【arxiv 2021】Robust Natural Language Processing: Recent Advances, Challenges, and Future Directions

https://arxiv.org/abs/2201.00768一篇去噪的综述，感觉还是介绍为主，不是特别深入。这篇有营养的部分主要这两部分我们提供了各种最近的鲁棒性性研究的分类，在研究变量的范围内；例如，模型、嵌入技术、度量和技术等。我们提供了不同方法及其优缺点之间的对比。1. 鲁棒性分类NLP鲁棒性相关分析的简要分类（包括技术、嵌入、评估度量、评估基准（数据集）、攻击空间（威胁模型和粒度）和相关的防御机制）作者介绍了一个斯坦福提出的评估鲁棒性工具–Robust Gym（https:

2022-03-23 12:31:41 3683

原创【EMNLP 2021】Learning from Noisy Labels for Entity-Centric Information Extraction

本文从一个现象入手，很多的数据集存在标注错误（例如CoNLL03），深度神经模型很容易过拟合噪声标签，遭受性能下降。而过滤有噪声的标签非常昂贵，最近的研究表明噪声标签需要更多的训练步骤来记忆，比干净的标签更容易被遗忘，基于这些特性作者提出了一个简单的实体正则化信息抽取框架，它由几个结构相同但参数初始化不同的神经模型组

2022-03-23 12:30:32 3437

原创【ACL2022】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text

原文链接: https://arxiv.org/abs/2108.02035本文参考了舍友的一篇知乎链接：https://zhuanlan.zhihu.com/p/398009000intro这是一篇清华刘知远老师组在arxiv上放出来了Prompt-tuning相关的新工作，本文是promp应用于文本分类的一篇工作，应用一种基于外部知识库的 prompt tuning（knowledgeable prompt tuning，简称kpt）,KPT包含以下三个步骤：标签词的扩

2021-09-21 21:42:39 1415

原创【arxiv】Few-Shot Text Generation with Pattern-Exploiting Training

原文链接：https://arxiv.org/pdf/2012.11926.pdfAbstract为预先训练好的语言模型提供简单的任务描述或自然语言提示，可以在广泛的文本分类任务产生令人印象深刻的few shot结果。在本文中，我们表明了这个潜在的想法也可以应用于文本生成任务：我们采用Pattern Exploiting Training（PET）范式，这是一种最近提出的few shot方法，用于微调文本生成任务上的生成语言模型。在几个文本摘要和标题生成数据集上，我们提出的PET的变体模型均优于强基

2021-09-21 17:10:52 370

原创【EMNLP2021】Learning from Multiple Noisy Augmented Data Sets for Better Cross-Lingual Spoken Language

intro缺乏训练数据对将口语理解(SLU)迁移到资源匮乏的语言提出了巨大的挑战。虽然已经提出了各种数据增强方法来合成低资源目标语言中的训练数据，但增强的数据集往往存在噪声，从而阻碍了SLU模型的性能

2021-09-08 11:09:44 153

原创图像相关小成果：停车自动计费装置

停车自动计费装置（大四的一些小成果）1.引言1.1 项目背景：近年来，随着经济建设的快速发展，人民物质生活水平不断丰富，汽车拥有量不断增加，给人民出行带来便利的同时，也使得城市交通问题日益严重，停车场车位不足的问题日益凸显。目前，有偿使用停车场可使得车位这一公共资源得到较为充分的利用，而智能高效的停车场管理系统也显得越来越重要。目前的大部分停车场管理系统都是采取人工判别车型、人工收费、人工放行以及人工引导车辆入库等比较传统的管理模式，这种管理模式存在诸多问题，比如车主进入停车场排队时间长；人工收费漏

2021-08-19 15:08:09 1241

原创【ICLR 2021】TOWARDS ROBUSTNESS AGAINST NATURAL LANGUAGE WORD SUBSTITUTIONS 阅读笔记

该文章将词替换攻击空间建模为凸空间，这使得模型可以更好的捕捉向量空间的替换词：左为本文方法，右1.2分别为l2-

2021-08-03 10:21:55 226

原创【ACL Findings 2021】Does Robustness Improve Fairness? Approaching Fairness with Word Substitution R

【ACL Findings 2021】《 Does Robustness Improve Fairness? Approaching Fairness with Word Substitution Robustness Methods for Text Classification》阅读笔记英文标题：Unsupervised Label Refinement Improves Dataless Text Classification中文翻译：鲁棒性可以提高公平性吗? —基于词替换的鲁棒性文本分类方法原

2021-07-29 18:52:48 403

原创【ACL 2021】《 RADDLE：An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Sys

【ACL 2021】《 RADDLE：An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems》实验分析英文标题：RADDLE：An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems中文翻译：健壮的任务型的对话系统的评估基准和分析平台原文链接: https://arxiv.

2021-07-19 11:44:54 240 1

原创【ACL 2021】《 Defending Pre-trained Language Models from Adversarial Word Substitution Without Perform

【ACL 2021】《 Defending Pre-trained Language Models from Adversarial Word Substitution Without Performance Sacrifice》阅读笔记英文标题：Defending Pre-trained Language Modelsfrom Adversarial Word Substitution Without Performance SacrificeRepresentations中文翻译：在对抗性的替换

2021-07-17 22:41:11 675 2

原创【ACL 2021】《 Unsupervised Label Refinement Improves Dataless Text Classification》阅读笔记

【ACL 2021】《 Unsupervised Label Refinement Improves Dataless Text Classification》阅读笔记英文标题：Unsupervised Label Refinement Improves Dataless Text Classification中文翻译：无监督的标签细化改进无数据文本分类原文链接: https://arxiv.org/pdf/2012.04194.pdf文章目录【ACL 2021】《 Unsupervised La

2021-07-14 23:07:31 421 1

原创【Arxiv 2021】《 Putting Humans in the Natural Language Processing Loop: A Survey》阅读笔记

【Arxiv 2021】《 Putting Humans in the Natural Language Processing Loop: A Survey》阅读笔记英文标题：Putting Humans in the Natural Language Processing Loop: A Survey中文翻译：调查报告：将人类置于自然语言处理循环中原文链接: https://arxiv.org/pdf/2103.04044.pdf.文章目录【Arxiv 2021】《 Putting Humans

2021-05-23 12:06:39 148

原创【ACL 2020】《 Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling》阅读笔记

【ACL 2020】《 Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling》阅读笔记英文标题：Coach: A Coarse-to-Fine Approach for Cross-domain Slot Filling中文翻译：Coach: 由粗到精的跨域槽填充原文链接: https://www.aclweb.org/anthology/2020.acl-main.3.pdf.文章目录【ACL 2020】《 Coach: A

2021-05-16 10:43:25 449

原创【ACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》笔记

【ACL 2019】《 Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation》阅读笔记英文标题：Adversarial Domain Adaptation Using Artificial Titlesfor Abstractive Title Generation中文翻译：利用人工标题生成抽象标题的对抗性领域适应原文链接: http://jcst.ict.ac.cn:8080/jc

2021-04-30 17:02:41 122 1

原创《Recent Advances on Neural Headline Generation》阅读笔记

《Recent Advances on Neural Headline Generation》阅读笔记英文标题：Recent Advances on Neural Headline Generation中文翻译：基于神经网络的标题生成研究进展原文链接: http://jcst.ict.ac.cn:8080/jcst/EN/10.1007/s11390-017-1758-3.文章目录《Recent Advances on Neural Headline Generation》阅读笔记前言一、intr

2021-04-18 21:28:24 333

原创一分钟在github+Jekyll的博客中添加访问量功能

一分钟在github+Jekyll博客中添加访问量功能文章目录一分钟在github+Jekyll博客中添加访问量功能前言一、Jekll是什么1. Jekll是软件简介二、不蒜子1. 不蒜子简介：2. 官网入口3. 使用方法4. 个性化总结前言不会还有小伙伴不知道，github+Jekll是可以搭建自己的个人博客吧？？？如果大家觉得csdn的blog不够高大上，或者私密性不好，不能抒发一些情感，那么可以搭一个github的博客，只需一小时即可，详见大佬的博文：一小时搭建github博客：http

2021-04-02 16:58:22 2405 4

原创浅谈json-2

浅谈json一二事 2这是我浅谈json一二事的第一篇，链接如下https://blog.csdn.net/dongguanting/article/details/115267289如果对我或者NLP相关的知识感兴趣，欢迎关注我刚搭建的个人blog：https://blog.csdn.net/dongguanting/article/details/115267289文章目录浅谈json一二事 2前言一、初探数据二、代码实现1.思路2.几个坑3.全部代码总结前言之前我已经说了一期嵌

2021-04-02 01:33:22 513

原创浅谈json-1

浅谈json的一二事1.起因最近自己被毕设也是搞得焦头烂额，题目是“基于原型网络的小样本自然语言处理”，其中最让人头疼的便是数据处理，meta learning相关的fewshot数据，很大一部分都是json格式的，每个json都有上千条数据。自己之前接触的json格式非常少，就打算写一篇博文在学中总结。本文的目标事例：将毕设中baseline需要将原本json格式数据处理成baseline模型可用的数据，所以就想写一个json处理python框架。少样本 json格式语料（左），baseline

2021-03-27 16:37:15 219

dongguanting的博客