ACL2021会议论文推荐

会议介绍

ACL会议（Annual Meeting of the Association for Computational Linguistics）是自然语言处理与计算语言学领域最高级别的学术会议之一，由计算语言学协会主办，每年一届。会议主题涉及对话，评测，信息抽取，信息检索，语言生成，语言资源，机器翻译，多模态，自动问答，语义语音，句法等多个方面。
AMiner通过AI技术，对ACL2021收录的会议论文进行了分类整理，欢迎收藏！
AMiner-ACL2021:https://www.aminer.cn/conf/acl2021?f=confcs

<1>Language Model

1.论文名称：Understanding Unintended Memorization in Language Models Under Federated Learning
论文链接：https://www.aminer.cn/pub/60af77d49e795e6b8e55c8ae?f=confcs

我们发起了一项正式的研究，以了解在训练的NWP模型中，外语的不同成分对无意识记忆的影响。研究结果表明，外语的几个不同成分在减少无意识记忆中起着重要的作用。

2.论文名称：Progressive Generation of Long Text with Pretrained Language Models
论文链接：https://www.aminer.cn/pub/60af77ab9e795e6b8e55c87e?f=confcs

在大量文本语料库上预先训练的大规模语言模型很难生成连贯的长文本段落。为了克服这些限制，我们提出了一种简单但有效的方法：以渐进的方式生成文本，灵感来自从低分辨率到高分辨率生成图像。

3.论文名称：Knowledge Enhanced Masked Language Model for Stance Detection
论文链接：https://www.aminer.cn/pub/60af777b9e795e6b8e55c844?f=confcs

在本文中，我们提出了一种新的基于BERT的微调方法，以增强掩蔽语言模型的姿态检测。与随机标记掩蔽不同，我们提出使用加权对数比值来识别具有高立场区分性的单词，然后建立一个关注这些单词的注意机制。

4.论文名称：Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle
论文链接：https://www.aminer.cn/pub/60af77c19e795e6b8e55c897?f=confcs

在本文中，我们提出了一种新的语法感知语言模型:语法有序记忆(SOM)。该模型使用增量解析器显式地对结构建模，并维护标准语言模型的条件概率设置(从左到右)。

5.论文名称：Learning and Evaluating a Differentially Private Pre-trained Language Model
论文链接：https://www.aminer.cn/pub/60af77229e795e6b8e55c7e5?f=confcs

在这项工作中，我们旨在指导未来的从业者和研究人员如何在保持良好的模型性能的同时提高隐私。我们演示了如何训练一个不同私有的预训练语言模型(即BERT)，该模型的隐私保证
并且其性能仅略有下降。

<2>Transformer

1.论文名称：Pretrained Transformers for Text Ranking: BERT and Beyond
论文链接：https://www.aminer.cn/pub/5f86d1fc91e011dbc7eba3b8?f=confcs

我们涵盖了广泛的现代技术，分为两个高级类别:在多阶段排名体系结构中执行重新排名的变压器模型，以及试图直接执行排名的稠密表示。我们的调查涉及两个主题:处理长文档的技术，而不是NLP中使用的典型逐句处理方法，以及在效率(结果质量)和效率(查询延迟)之间进行权衡的技术。

2.论文名称：On the Transformer Growth for Progressive BERT Training
论文链接：https://www.aminer.cn/pub/5f96a8cc91e01156ea5b37d3?f=confcs

现有的Transformer增长方法只在单一维度进行，但我们发现使用复合增长算子，平衡多个维度(如模型的深度、宽度、输入长度)是有益的。此外，我们还通过控制性比较，探讨了各个维度上可供选择的增长算子，以提供算子选择的实际指导。

3.论文名称：DA-Transformer: Distance-aware Transformer
论文链接：https://www.aminer.cn/pub/5f881d2691e0118ce8f0419a?f=confcs

在本文中，我们提出DA-Transformer，这是一种距离感知Transformer，可以对真实距离加以利用。我们提出加入标记之间的真实距离来重新衡量原始的自注意权值，该权值由attention query和key之间的相关性计算。

4.论文名称：Towards a Comprehensive Understanding and Accurate Evaluation of Societal Biases in Pre-Trained Transformers
论文链接：https://www.aminer.cn/pub/60af76909e795e6b8e55c735?f=confcs

本文研究了GPT-2, XLNet, BERT, RoBERTa, ALBERT and DistilBERT等语言模型的性别和种族偏见。我们使用三个指标评估预训练transformer的偏差:WEAT、序列似然和代词排名。最后，我们用一个实验证明了单词嵌入技术(如WEAT)的无效，这表明需要在变压器中进行更稳健的偏压测试。

5.论文名称：SCRIPT: Self-Critic PreTraining of Transformers
论文链接：https://www.aminer.cn/pub/60af77399e795e6b8e55c7ff?f=confcs

在MLM和进一步推导出编码器之上的鉴别器或批评器时，我们的SCRIPT预训练模型不使用任何额外的参数。SCRIPT结合了MLM训练和判别训练，可以学习丰富的表示、计算和样本效率。

<3>Shared Task

1.论文名称：CogNLP-Sheffield at CMCL 2021 Shared Task: Blending Cognitively Inspired Features with Transformer-based Language Models for Predicting Eye Tracking Patterns
论文链接：https://www.aminer.cn/pub/60af768f9e795e6b8e55c734?f=confcs

本文描述了我们提交给2021年CMCL共享任务的文件:我们贡献了一个受认知和语言信息启发的Feature Rich模型，模型主要基于上下文XLNet-base嵌入。我们发现，在XLNet模型中，只有有限的认知特征子集(如单词长度)是有用的。

2.论文名称：Team ReadMe at CMCL 2021 Shared Task: Predicting Human Reading Patterns by Traditional Oculomotor Control Models and Machine Learning
论文链接：https://www.aminer.cn/pub/60af772e9e795e6b8e55c7f4?f=confcs

本文描述了我们参与CMCL 2021人类阅读模式预测共享任务的过程。我们的研究重点是利用众所周知的传统眼动控制模型和机器学习系统。我们用传统的眼动控制模型(EZ Reader)和两种机器学习模型(线性回归模型和再流网络模型)进行了实验，并将两种不同的模型结合起来。

3.论文名称：Findings of the AmericasNLP 2021 Shared Task on Open Machine Translation for Indigenous Languages of the Americas
论文链接：https://www.aminer.cn/pub/60af76a29e795e6b8e55c74d?f=confcs

本文介绍了美洲土著语言开放机器翻译2021年共享任务的结果。我们提供了由从不同来源收集的数据组成的训练集，以及用于开发和测试集的手动翻译句子，还提供了关于这方面数据的正式基线。

4.论文名称：Overview of the MEDIQA 2021 Shared Task on Summarization in the Medical Domain
论文链接：https://www.aminer.cn/pub/60af76949e795e6b8e55c73a?f=confcs

BioNLP 2021研讨会上的MEDIQA 2021共享任务讨论了关于医学文本摘要的三项任务。在本文中，我们描述了任务、数据集、由不同团队开发的模型和技术、评价结果以及各种摘要评价措施之间的相关性研究。

5.论文名称：SIGTYP 2021 Shared Task: Robust Spoken Language Identification
论文链接：https://www.aminer.cn/pub/60af76c09e795e6b8e55c770?f=confcs

我们发现，域和说话者的不匹配对于目前的方法来说非常具有挑战性，这些方法在域内的准确率可以达到95%以上，域自适应可以在一定程度上解决这个问题，但这些条件值得进一步研究，以使口语识别在许多情况下都可以实现。

<4>Machine Translation

1.论文名称：Generative Imagination Elevates Machine Translation
论文链接：https://www.aminer.cn/pub/5f69e18a91e011a2f0270909?f=confcs

本文假设，通过综合源语言的视觉表征，视觉想象可以帮助神经模型映射两种不同符号的语言，从而帮助完成翻译任务。我们提出的end-to-end基于想象的机器翻译模型(ImagiT)首先学习从源句子生成语义一致的视觉表示，然后基于文本表示和想象视觉表示生成目标句子。

2.论文名称：Multi-Task Learning with Shared Encoder for Non-Autoregressive Machine Translation
论文链接：https://www.aminer.cn/pub/5f97ee1c91e0112e0cda7be4?f=confcs

我们假设和实证验证了AT和NAT编码器捕获不同的语言属性和源句子的表示。因此，我们建议采用多任务学习，通过编码器共享将AT知识传递给NAT模型。我们将AT模型作为一项辅助任务来提高NAT模型的性能。

3.论文名称：Cross-lingual Supervision Improves Unsupervised Neural Machine Translation
论文链接：https://www.aminer.cn/pub/605194609e795e94b6397128?f=confcs

我们提出了一种基于跨语言监督的无监督神经机器翻译(CUNMT)，它利用高资源语言对的监督信号来改进零源语言的翻译。对于没有平行语料库的En-Ro系统的训练，我们可以利用En-Fr语料库和En-De语料库，将一种语言翻译成多种语言的翻译在一个模型下进行集体训练。

4.论文名称：Auto Correcting in the Process of Translation – Multi-task Learning Improves Dialogue Machine Translation
论文链接：https://www.aminer.cn/pub/606456ea91e011538305d039?f=confcs

我们提出了一种联合学习方法来识别省略和拼写错误，并利用上下文翻译对话话语。为了更好地评价对话翻译的性能，我们提出了一个包含1931个汉英平行话语的手工注释数据集，作为对话翻译的基准测试平台。

5.论文名称：Restoring and Mining the Records of the Joseon Dynasty via Neural Language Modeling and Machine Translation
论文链接：https://www.aminer.cn/pub/6076b92191e0113d725742eb?f=confcs

我们提出了一种基于自注意机制的多任务学习方法来恢复和翻译历史文档，具体利用了世界上最丰富的历史记录之一的两段朝鲜历史记录。实验结果表明，与不使用多任务学习的基线相比，该方法显著提高了翻译任务的准确性。

<5>Neural Machine Translation

1.论文名称：Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios
论文链接：https://www.aminer.cn/pub/5e91957f91e011505f40a49e?f=confcs

本文首先对UNMT非平衡训练数据场景进行了定义和分析。在此基础上，我们提出了用UNMT自训练机制来训练一个鲁棒的UNMT系统并提高其性能。几种语言的实验结果表明，这种方法明显优于传统的UNMT系统。

2.论文名称：Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model
论文链接：https://www.aminer.cn/pub/5f97ecbb91e0112e0cda7bbb?f=confcs

我们提出了一种简单的方法，通过将文档级语言模型合并到解码器中，将句子级翻译模型转换为上下文感知模型。我们的上下文感知译码器仅建立在句子级平行语料库和单语语料库上，因此不需要文档级并行数据。

3.论文名称：Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
论文链接：https://www.aminer.cn/pub/6058628991e011537aff4ba2?f=confcs

跨语言预训练在低资源、遥远的语言中表现不佳，先前的研究表明这是因为表示方式没有充分对齐。本文采用类型级跨语言子词嵌入的方法，对词汇级的双语掩蔽语言模型进行预处理。实证结果表明，与建立的UNMT基线相比，使用我们的方法在UNMT(高达4.5 BLEU)和双语词汇归纳方面的性能都有所提高。

4.论文名称：Neural Machine Translation without Embeddings
论文链接：https://www.aminer.cn/pub/5f438eac91e01165ef974ac7?f=confcs

如果没有嵌入组件，NLP模型能工作吗?为此，我们省略了标准机器翻译模型中的输入和输出嵌入，并通过UTF-8编码将文本表示为一个字节序列，对每个字节使用恒定的256-dimension one-hot表示。在10个语言对上的实验表明，去除嵌入矩阵可以持续提高字节到字节模型的性能，通常优于字符到字符模型，有时甚至产生比标准子词模型更好的翻译。

5.论文名称：Continual Learning for Neural Machine Translation
论文链接：https://www.aminer.cn/pub/60af77639e795e6b8e55c82c?f=confcs

我们提出了一个新的连续学习框架的NMT模型。我们考虑了一个由多个阶段组成的训练场景，并提出了一种动态知识提炼技术来系统地缓解灾难性遗忘问题。我们在三种具有代表性的NMT应用设置上进行了实验，结果表明，与基线模型相比，该方法在所有设置下均具有更好的性能。

<6>Question Answering

1.论文名称：Unsupervised Multi-hop Question Answering by Question Generation
论文链接：https://www.aminer.cn/pub/5f97e53591e0112e0cda7aef?f=confcs

获取Multi-hop问答(QA)的训练数据是非常耗时和资源密集的。为了解决这个问题，我们提出了MQA-QG，一个无监督的问题回答框架，可以从同构和异构数据源生成类人Multi-hop训练对。在HotpotQA和HybridQA数据集中，无监督和完全监督模型之间的F1差距都小于20。进一步的实验表明，利用该模型生成的质量保证数据进行无监督预处理可以大大降低Multi-hop质量保证对人工标注训练数据的需求。

2.论文名称：XOR QA: Cross-lingual Open-Retrieval Question Answering
论文链接：https://www.aminer.cn/pub/5f92b7b391e011edb3573b57?f=confcs

我们构建了一个基于缺乏相同语言答案的TyDi QA问题的大规模数据集XOR QA，包括来自7种不同非英语语言的40k个信息搜索问题。在此基础上，提出了利用多语言和英语资源进行跨语言文档检索的三个新任务。我们用最先进的机器翻译系统和跨语言预训练模型建立基线。实验结果表明，异或问答是一项具有挑战性的任务，将有助于开发新的多语言问答技术。

3.论文名称：Technical Question Answering across Tasks and Domains
论文链接：https://www.aminer.cn/pub/5f8ffb7091e01125c27dde5a?f=confcs

我们提出了一个新的深度迁移学习框架，以有效地解决跨任务和领域的技术质量保证。我们提出了一种可调节的文档检索和阅读理解任务联合学习方法。在TechQA上的实验表明，这种方法比最先进方法的性能更加优越。

4.论文名称：QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering
论文链接：https://www.aminer.cn/pub/6076c80791e0113d72574489?f=confcs

我们提出了一个新的模型，QA-GNN，它通过两个关键的创新来解决:(i)相关性评分，我们使用lm来估计KG节点相对于给定的QA上下文的重要性，以及(ii)联合推理，我们将QA上下文和KG连接起来形成一个联合图，并通过基于图的消息传递相互更新它们的表示。

5.论文名称：NAMER: A Node-Based Multitasking Framework for Multi-Hop Knowledge Base Question Answering
论文链接：https://www.aminer.cn/pub/60af778d9e795e6b8e55c85a?f=confcs

本文提出了一种基于节点的开放域中文知识库问答系统NAMER，该系统通过将查询中的节点与相应的问题提及数对齐来更好地把握问题与知识库查询之间的结构映射。利用数据增强和多任务处理等技术，我们证明了所提出的框架在CCKS CKBQA数据集上的性能优于以前的SoTA。

<7>Summarization

1.论文名称：Structure-Aware Abstractive Conversation Summarization via Discourse and Action Graphs
论文链接：https://www.aminer.cn/pub/607ff05091e011772654f5ef?f=confcs

我们建议明确地建模对话中的丰富结构，以更精确和准确地进行对话总结，首先通过结构化图表将话语和行动三元组(“who-doing-what”)之间的话语关系纳入到话语中，以更好地编码对话，然后设计一个多粒度的译码器，结合各级信息生成摘要。

2.论文名称：Transformer-based Screenplay Summarization Using Augmented Learning Representation with Dialogue Information
论文链接：https://www.aminer.cn/pub/60af77309e795e6b8e55c7f7?f=confcs

剧本中包含了转折点(TP)事件，这些事件改变了故事的发展方向，从而决定了故事的结构。因此，可以将此任务定义为TP识别任务。我们建议使用对话信息，这是剧本的一个属性，因为之前的研究发现，TP与剧本中出现的对话有关系。为了使模型具有这种特征，我们在输入嵌入中加入了对话特征。

3.论文名称：RefSum: Refactoring Neural Summarization
论文链接：https://www.aminer.cn/pub/60795afb91e011f8093d8a06?f=confcs

尽管最近的一些研究显示了不同的先进系统之间潜在的互补性，但很少有试图在文本摘要中研究这个问题的。其他领域的研究人员通常使用重新排序或堆叠的技术来解决这个问题。我们强调了以前方法的几个局限性，这促使我们提出了一个新的框架Refactor，它提供了文本摘要和摘要组合的统一视图。

4.论文名称：MM-AVS: A Full-Scale Dataset for Multi-modal Summarization
论文链接：https://www.aminer.cn/pub/60af76cd9e795e6b8e55c77e?f=confcs

在本研究中，我们发布了一个全面的多模式数据集，全面收集了CNN和每日邮报的英文文档、摘要、图片、字幕、视频、音频、文本和标题，这是第一个跨越所有形式的收集。此外，我们设计了一个基于新数据集的基线模型，该模型采用了一个新提出的基于转录本的Jump-Attention机制。实验结果验证了外部信息对多模态摘要的重要辅助作用。

5.论文名称：QIAI at MEDIQA 2021: Multimodal Radiology Report Summarization
论文链接：https://www.aminer.cn/pub/60af772d9e795e6b8e55c7f3?f=confcs

本文旨在探讨在训练中使用多模态是否提高了模型在测试时的总结性能。我们的初步结果显示，与纯文本基线系统相比，利用与放射学报告相关的x射线的视觉特征可以获得更高的评估指标。

<8>Multilingual

1.论文名称：mT5: A Massively Multilingual Pre-Trained Text-to-Text Transformer
论文链接：https://www.aminer.cn/pub/5f92ba5191e011edb3573ba5?f=confcs

最近的“文本到文本传输转换器”(T5)利用了统一的文本到文本格式和规模，在各种英语NLP任务中获得了最先进的结果。在本文中，我们介绍了T5的多语言变体mT5，它是在一个新的基于Common Crawl的数据集上预先训练的，该数据集覆盖了101种语言。我们描述了mT5的设计和改进培训，并演示了它在许多多语言基准上的最新性能。

2.论文名称：Explicit Alignment Objectives for Multilingual Bidirectional Encoders
论文链接：https://www.aminer.cn/pub/5f8d56d391e0116f3d44da2c?f=confcs

本文提出了一种新的多语言编码学习方法AMBER，使用两个明确的对齐目标对附加的并行数据进行训练，这两个目标将不同粒度的多语言表示对齐。我们对不同任务进行了零射击跨语言迁移学习实验，包括序列标注、句子检索和句子分类。实验结果表明，与AMBER的4.6倍参数的XLMR-large模型相比，AMBER在序列标记上获得了高达1.1的平均F1分，在检索上获得了高达27.3的平均正确率。

3.论文名称：Multilingual Language Models Predict Human Reading Behavior
论文链接：https://www.aminer.cn/pub/607589b391e0110f6fe6854f?f=confcs

我们分析大型语言模型是否能够预测人类阅读行为的模式。在荷兰语、英语、德语和俄语文本上，我们比较了语言特异性和多语言预训练的变形模型的性能，以预测反映人类自然句子处理的阅读时间。

4.论文名称：Multilingual BERT Post-Pretraining Alignment
论文链接：https://www.aminer.cn/pub/5f96a81691e01156ea5b37c4?f=confcs

我们提出了一种简单的方法来对齐多语言背景嵌入作为训练后的步骤，以改善zero-shot预训练模型的跨语言迁移。利用并行数据，我们的方法在词层面上通过最近提出的翻译语言建模目标对齐嵌入，在句子层面上通过对比学习和随机输入变换对齐嵌入。

5.论文名称：When Being Unseen from mBERT is just the Beginning: Handling New Languages With Multilingual Language Models
论文链接：https://www.aminer.cn/pub/5f97edca91e0112e0cda7bda?f=confcs

一些语言从迁移学习中得到了很大的好处，它们的行为与密切相关的高资源语言相似，而另一些语言显然没有。关注后者，我们发现这种迁移失败很大程度上与用于编写此类语言的脚本的影响有关。转写这些语言可以极大地提高下游任务上的大规模多语言模型的能力。

<9>Representation

1.论文名称：Self-Alignment Pretraining for Biomedical Entity Representations
论文链接：https://www.aminer.cn/pub/5f92b46d91e011edb3573b0f?f=confcs

我们提出了一种基于BERT的训练前方案——SapBERT，它利用度量学习目标函数自对齐生物医学实体的表示空间。我们在6个医疗实体链接基准数据集上的实验结果表明，SapBERT优于许多基于特定领域的BERT变体，如BioBERT、BlueBERT和PubMedBERT，达到了最先进的性能。

2.论文名称：Dynamically Disentangling Social Bias from Task-Oriented Representations with Adversarial Attack
论文链接：https://www.aminer.cn/pub/60af76899e795e6b8e55c72d?f=confcs

在本文中，我们提出了一个对抗性解纠缠解偏模型，从主要任务训练的中间表示中动态解耦社会偏见属性。我们的目标是在下游任务的训练中去噪偏见信息，而不是完全去除社会偏见和追求静态的无偏见表征。实验结果表明，该方法在除偏效果和主要任务性能方面都是有效的。

3.论文名称：Contextualized and Generalized Sentence Representations by Contrastive Self-Supervised Learning: A Case Study on Discourse Relation Analysis
论文链接：https://www.aminer.cn/pub/60af76b69e795e6b8e55c765?f=confcs

我们提出了一种方法来学习上下文化和广义的句子表示使用对比自我监督学习。在该方法中，给出了一个由多个句子组成的文本模型。随机选取一个句子作为目标句。对该模型进行训练，以最大限度地提高目标句与上下文的相似度，并使相同上下文的掩蔽目标句的相似度达到最大值。

4.论文名称：Knowledge Router: Learning Disentangled Representations for Knowledge Graphs
论文链接：https://www.aminer.cn/pub/60af77599e795e6b8e55c823?f=confcs

本文提出学习KG实体的解缠表示——一种解缠KG实体内在潜在性质的新方法。我们的解缠过程在图级运行，并利用邻域机制来解缠每个实体的隐藏属性。这种解纠缠表示学习方法是模型不可知的，并且与规范的KG嵌入方法兼容。

5.论文名称：Enriching Transformers with Structured Tensor-Product Representations for Abstractive Summarization
论文链接：https://www.aminer.cn/pub/60af77889e795e6b8e55c854?f=confcs

在本文中，我们采用了TP-Transformer，该架构使用显式复合张量积表示(TPR)来丰富原始Transformer，用于抽象摘要的任务。我们的模型的主要特征是一种结构偏差，我们为每个标记分别编码两个单独的表示，分别表示语法结构(使用角色向量)和语义内容(使用填充向量)。

<10>Text Classification

1.论文名称：Knowledge Guided Metric Learning for Few-Shot Text Classification
论文链接：https://www.aminer.cn/pub/5e8da0bf91e011f2de583572?f=confcs

受人类智能的启发，我们提出在少镜头学习中引入外部知识来模仿人类知识。为此，研究了一种利用外部知识生成关系网络参数的参数产生网络。当配置了这些生成的参数时，度量可以在任务之间传递，这样类似的任务使用类似的度量，而不同的任务使用不同的度量。

2.论文名称：Universal Adversarial Attacks with Natural Triggers for Text Classification
论文链接：https://www.aminer.cn/pub/5eafe7e091e01198d39865bc?f=confcs

在本文中，我们开发了看起来更接近自然英语短语的对抗性攻击，当添加到良性输入时混淆分类系统。为了实现这一点，我们利用了一种反向正则化的自动编码器(ARAE)来生成触发器，并提出了一种基于梯度的搜索方法来输出欺骗目标分类器的自然文本。

3.论文名称：X-Class: Text Classification with Extremely Weak Supervision
论文链接：https://www.aminer.cn/pub/5f97ebc991e0112e0cda7b9a?f=confcs

在本文中，我们探索在监督极弱的情况下进行文本分类，即仅依赖类名的表层文本。我们选择从表示学习的角度来解决这个问题——理想的文档表示应该导致聚类和期望的分类之间非常接近的结果。我们提出了一个新的框架X-Class来实现它。

4.论文名称：Inductive Topic Variational Graph Auto-Encoder for Text Classification
论文链接：https://www.aminer.cn/pub/60af77799e795e6b8e55c842?f=confcs

我们提出了一种归纳式主题变分图自动编码器(T-VGAE)模型，该模型将主题模型集成到变分图自动编码器(VGAE)中，以捕获文档和单词之间隐藏的语义信息。T-VGAE继承了主题模型的可解释性和VGAE高效的信息传播机制。

5.论文名称：KW-ATTN: Knowledge Infused Attention for Accurate and Interpretable Text Classification
论文链接：https://www.aminer.cn/pub/60af763e9e795e6b8e55c6dd?f=confcs

本文提出了一种新的知识灌输注意力机制，即KW-ATTN ，将外部知识库中的高级概念整合到神经网络模型中。我们表明，KW-ATTN在分类精度方面优于仅使用单词的基线模型以及其他使用概念的方法，这表明高级概念有助于模型预测。

<11>Embedding

1.论文名称：Temporal Knowledge Graph Completion using a Linear Temporal Regularizer and Multivector Embeddings
论文链接：https://www.aminer.cn/pub/60af76d59e795e6b8e55c789?f=confcs

本文提出了一种新的时间感知知识图嵌入方法TeLM，该方法利用线性时间正则化和多向量嵌入对时间知识图进行四阶张量分解。我们还研究了时态数据集的时间粒度对时态知识图完成的影响。

2.论文名称：Static Embeddings as Efficient Knowledge Bases?
论文链接：https://www.aminer.cn/pub/6079566091e011f8093d8992?f=confcs

我们在十种不同语言的实验中研究静态嵌入中包含的知识。我们证明，当将输出空间限制到一个候选集时，使用静态嵌入的简单最近邻匹配比PLM性能更好。

3.论文名称：Private Release of Text Embedding Vectors
论文链接：https://www.aminer.cn/pub/60af76489e795e6b8e55c6e6?f=confcs

我们提出了一种释放机制，以任何(文本)嵌入向量作为输入，并释放相应的私有向量。我们用多词嵌入模型和自然语言处理数据集的经验实验支持我们的理论证明。在某些情况下，这种机制比现有的最先进的私有化技术获得了超过10%的收益。

4.论文名称：LightningDOT: Pre-training Visual-Semantic Embeddings for Real-Time Image-Text Retrieval
论文链接：https://www.aminer.cn/pub/6051cbdd91e011c24e599086?f=confcs

我们研究了图像-文本检索(ITR)，这是V+L应用中最成熟的场景，甚至在最新预训练模型出现之前就已经得到了广泛的研究。我们提出了一种简单而高效的方法，即LightningDOT，它在不牺牲准确性的前提下，将ITR的推理时间加快了数千倍。

5.论文名称：Field Embedding: A Unified Grain-Based Framework for Word Representation
论文链接：https://www.aminer.cn/pub/60af778c9e795e6b8e55c859?f=confcs

本研究提出了一种基于形态、语音和句法的语义学领域，以共同学习单词和颗粒嵌入。 该框架利用了一个创新的细粒度管道，该管道集成了多个语言领域并生成用于学习最高单词表示的高质量粒度序列。

<12>Natural Language Processing

1.论文名称：A Survey on Recent Approaches for Natural Language Processing in Low-Resource Scenarios
论文链接：https://www.aminer.cn/pub/5f969f0091e01156ea5b36d6?f=confcs

基于神经模型和当前流行的训练前和微调范式的基本变化，我们概述了低资源自然语言处理的有前途的方法。我们接着研究了在训练数据稀疏时能够进行学习的方法，这包括创建额外标记数据的机制，如数据增强和远程监督，以及减少目标监督需求的迁移学习设置。

2.论文名称：Case Study: Deontological Ethics in NLP
论文链接：https://www.aminer.cn/pub/5f842db391e01129be18ffff?f=confcs

最近NLP方面的工作主要集中在诸如理解和减少数据和算法中的偏见等伦理挑战上;识别令人反感的内容，如仇恨言论、刻板印象和冒犯性语言;以及为更好的系统设计和数据处理实践构建框架。然而，很少有人讨论这些努力背后的伦理基础。本文从自然语言处理的角度研究了一种伦理理论，即义务论伦理学。我们提供四个案例研究来演示如何将这些原则用于NLP系统。

3.论文名称：Natural Language Processing 4 All (NLP4All): A New Online Platform for Teaching and Learning NLP Concepts
论文链接：https://www.aminer.cn/pub/60af77089e795e6b8e55c7c5?f=confcs

为了扩大对自然语言处理的参与，提高自然语言处理的读写能力，我们引入了一种新的基于网络的工具NLP4All。NLP4All通过提供易于使用的NLP方法、数据和分析接口，使非程序员和初学者能够以交互方式学习NLP概念，从而帮助教师促进对NLP的学习和了解。

4.论文名称：The Flipped Classroom model for teaching Conditional Random Fields in an NLP course
论文链接：https://www.aminer.cn/pub/60a3b63091e01115219ffb81?f=confcs

在本文中，我们展示并讨论了我们在自然语言处理课程中应用翻转课堂教学法教学条件随机场的经验。我们展示了我们共同开发的活动，以及它们与认知复杂性模型(Bloom分类法)的关系。

5.论文名称：Concealed Data Poisoning Attacks on NLP Models
论文链接：https://www.aminer.cn/pub/60af771c9e795e6b8e55c7dd?f=confcs

我们开发了一种新的数据中毒攻击，它允许对手在输入中出现所需的触发短语时控制模型预测。我们使用基于梯度的程序来制作这些有害的例子，这样它们就不会提到触发短语。最后提出了三种防御措施，可以在预测精度或额外的人工注释方面降低我们的攻击。

了解更多科研动态，点击订阅AMiner（https://www.aminer.cn/）