【AI视野·今日NLP 自然语言处理论文速览 第二十八期】Wed, 1 Dec 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Wed, 1 Dec 2021
Totally 27 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

Automatic Extraction of Medication Names in Tweets as Named Entity Recognition Authors Carol Anderson, Bo Liu, Anas Abidin, Hoo Chang Shin, Virginia Adams 社交媒体帖子包含有关医疗状况和健康相关行为的潜在有价值的信息。 Biocreative VII 任务 3 侧重于通过识别推文中提及的药物和膳食补充剂来挖掘这些信息。我们通过微调多个 BERT 风格的语言模型来执行令牌级别分类，并将它们组合成集成以生成最终预测来处理此任务。

Chemical Identification and Indexing in PubMed Articles via BERT and Text-to-Text Approaches Authors Virginia Adams, Hoo Chang Shin, Carol Anderson, Bo Liu, Anas Abidin Biocreative VII Track 2 挑战包括命名实体识别、实体链接或实体规范化以及主题索引任务，实体和主题仅限于该挑战的化学品。命名实体识别是一个成熟的问题，我们使用基于 BERT 的 BioMegatron 模型实现了最佳性能。我们将基于 BERT 的方法扩展到实体链接任务。在使用称为自对齐预训练 SAP 的度量学习损失策略预训练 BioBERT 的第二阶段之后，我们根据 SAP BioBERT 词嵌入之间的余弦相似度链接实体。

Text Mining Drug/Chemical-Protein Interactions using an Ensemble of BERT and T5 Based Models Authors Virginia Adams, Hoo Chang Shin, Carol Anderson, Bo Liu, Anas Abidin 在 BioCreative VII Challenge 的 Track 1 中，参与者被要求确定药物化学物质和蛋白质之间的相互作用。在上下文中，提供了每种药物化学物质和蛋白质的命名实体注释，并且必须自动预测十四种不同相互作用中的一种。对于这个关系提取任务，我们尝试了基于 BERT 的句子分类方法和使用 T5 模型的更新颖的文本到文本方法。我们发现更大的基于 BERT 的模型总体上表现更好，我们基于 BioMegatron 的模型在所有指标上都取得了最高分，达到了 0.74 F1 分数。尽管我们新颖的 T5 文本到文本方法的性能不如我们大多数基于 BERT 的模型，但它的表现优于在类似数据上训练的模型，显示出有希望的结果，F1 得分为 0.65。

Fine-grained prediction of food insecurity using news streams Authors Ananth Balashankar, Lakshminarayanan Subramanian, Samuel P. Fraiberger 预测粮食危机的爆发对于有效分配紧急救济和减少人类苦难至关重要。然而，现有的粮食不安全预警系统依赖的风险措施往往是延迟的、过时的或不完整的。在这里，我们利用深度学习的最新进展从 1980 年至 2020 年间发表的大量关于脆弱国家的新闻文章的文本中提取粮食危机的高频前兆。并允许我们最多提前三个月在 15 个脆弱国家的地区一级预测比现有模型多 32 次的粮食危机。

Pureformer: Do We Even Need Attention? Authors Uladzislau Yorsh, Alexander Kovalenko 在本文中，我们提出广泛用于基于变换器的模型中的点积成对匹配注意层对于模型性能是冗余的。其原始表述中的注意力必须被视为一种人类级别的工具，用于探索和/或可视化序列中的相关性分数。

What Do You See in this Patient? Behavioral Testing of Clinical NLP Models Authors Betty van Aken, Sebastian Herrmann, Alexander L ser 基于临床记录的决策支持系统有可能通过将医生指向受监督的风险来改善患者护理。预测患者的结果是此类系统的重要组成部分，深度神经网络的使用已显示出有希望的结果。然而，这些网络学习到的模式大多是不透明的，而且之前的工作揭示了关于意外偏差再现的缺陷。因此，我们引入了一个可扩展的测试框架，用于评估临床结果模型关于输入变化的行为。该框架有助于理解学习模式及其对模型决策的影响。在这项工作中，我们应用它来分析关于患者特征性别、年龄和种族的行为变化。我们对三个当前临床 NLP 模型的评估证明了这些特征对模型决策的具体影响。

New Approaches to Long Document Summarization: Fourier Transform Based Attention in a Transformer Model Authors Andrew Kiruluta, Andreas Lemos, Eric Lundy 在这项工作中，我们广泛地重新设计了新引入的使用傅立叶变换 FNET 的令牌混合方法，以替换长文档摘要任务 512 个令牌的完整变换器实现中计算成本高的自注意力机制。作为基线，我们还使用已建立的方法（例如 Longformer 和 Big Bird 转换器模型）进行了长文档摘要，这些模型能够处理超过 8000 个标记，并且是目前解决此类问题的最先进方法。最初的 FNET 论文在仅编码器的架构中实现了这一点，而抽象摘要需要编码器和解码器。由于公共领域中目前不存在这种预训练的变换器模型，我们决定在编码器解码器架构中实现基于这种傅立叶标记混合方法的完整变换器，我们从语料库中单个单词的 Glove 嵌入开始训练。我们研究了原始 FNET 架构的许多不同扩展，并评估了它们在摘要任务上的 Rouge F1 得分表现。

KARL-Trans-NER: Knowledge Aware Representation Learning for Named Entity Recognition using Transformers Authors Avi Chawla, Nidhi Mulay, Vikas Bishnoi, Gaurav Dhama 使用 BERT、ELMo 和 Flair 等模型对上下文信息进行建模的开始显着改善了单词的表示学习。它还在几乎所有 NLP 任务机器翻译、文本摘要和命名实体识别中给出了 SOTA 结果，仅举几例。在这项工作中，除了使用这些主要的上下文感知表示之外，我们还提出了一个用于命名实体识别 NER 的知识感知表示学习 KARL 网络。我们讨论了使用现有方法将世界知识纳入 NER 的挑战，并展示了如何利用我们提出的方法来克服这些挑战。 KARL 基于 Transformer Encoder，它利用表示为事实三元组的大型知识库，将它们转换为图上下文，并提取驻留在其中的基本实体信息，以生成用于特征增强的上下文三元组表示。实验结果表明，使用 KARL 进行的增强可以显着提高我们的 NER 系统的性能，并且在三个公开可用的 NER 数据集（即 CoNLL 2003、CoNLL 和 OntoNotes v5）上取得比文献中现有方法更好的结果。

A Comparative Study of Transformers on Word Sense Disambiguation Authors Avi Chawla, Nidhi Mulay, Vikas Bishnoi, Gaurav Dhama, Dr. Anil Kumar Singh 近年来，自然语言处理 NLP 的研究见证了训练用于生成上下文感知语言表示的大型模型的显着增长。在这方面，许多 NLP 系统利用基于神经网络的架构的力量将语义信息合并到嵌入中，从而产生了上下文化的词嵌入 CWE。尽管取得了这些进展，但 NLP 社区还没有看到任何对此类架构的上下文化能力进行比较研究的重要工作。本文对九种广泛采用的 Transformer 模型进行了比较研究和广泛分析。这些模型是 BERT、CTRL、DistilBERT、OpenAI GPT、OpenAI GPT2、Transformer XL、XLNet、ELECTRA 和 ALBERT。我们使用两个词汇样本 Word Sense Disambiguation WSD 任务 SensEval 2 和 SensEval 3 来评估它们的上下文化能力。我们采用一种简单而有效的 WSD 方法，在 CWE 上使用 k 最近邻 kNN 分类。

Minor changes make a difference: a case study on the consistency of UD-based dependency parsers Authors Dmytro Kalpakchi, Johan Boye 许多下游应用程序使用依赖树，因此依赖依赖解析器产生正确的，或者至少是一致的输出。然而，依赖解析器是使用机器学习进行训练的，因此容易出现由于训练数据中的偏差而导致的不必要的不​​一致。本文通过我们研究替换句子中数字的效果的实验，探讨了这种偏见在英语、瑞典语、俄语和乌克兰语四种语言中的影响。

Text classification problems via BERT embedding method and graph convolutional neural network Authors Loc Hoang Tran, Tuan Tran, An Mai 本文提出了结合 BERT 嵌入方法和图卷积神经网络的新方法。这种组合用于解决文本分类问题。最初，我们将 BERT 嵌入方法应用于 BBC 新闻数据集和 IMDB 电影评论数据集中的文本，以便将所有文本转换为数值向量。然后，图卷积神经网络将应用于这些数值向量，以将这些文本分类为适当的类别标签。

Challenges in Developing LRs for Non-Scheduled Languages: A Case of Magahi Authors Ritesh Kumar Magahi 是一种印度雅利安语言，主要在印度东部地区使用。尽管有大量的使用者，但实际上没有为该语言开发的语言资源 LR 或语言技术 LT，主要是因为它是一种非预定语言。本论文描述了开发 Magahi 注释语料库的尝试。

Generating Rich Product Descriptions for Conversational E-commerce Systems Authors Shashank Kedia, Aditya Mantha, Sneha Gupta, Stephen Guo, Kannan Achan 通过最近语音技术的进步和智能助手（例如 Amazon Alexa、Apple Siri 和 Google Home）的引入，越来越多的用户通过语音命令与各种应用程序进行交互。当需要简洁时，电子商务公司通常在他们的网页上显示简短的产品标题，无论是人工策划的还是算法生成的。但是，这些标题与自然口语不同。例如，Lucky Charms Gluten Free Break fast Cereal, 20.5 oz a box Lucky Charms Gluten Free 可以显示在网页上，而类似的标题不能用于基于语音的文本到语音应用程序中。在此类会话系统中，首选易于理解的句子，例如一盒 20.5 盎司的幸运符无麸质麦片。与可以向用户呈现图像和详细产品信息的显示设备相比，在与语音助手交互时，传达最重要信息的产品的简短标题是必要的。我们提出了 eBERT，一种序列到序列的方法，通过在电子商务产品描述语料库上进一步预训练 BERT 嵌入，然后微调结果模型以从输入的网络标题生成简短、自然的口语标题。我们在现实世界行业数据集上的大量实验以及对模型输出的人工评估表明，eBERT 摘要优于可比较的基线模型。

Bilingual Topic Models for Comparable Corpora Authors Georgios Balikas, Massih Reza Amini, Marianne Clausel 像潜在狄利克雷分配 LDA 这样的概率主题模型以前已经扩展到双语环境。这些扩展中的一些基本建模假设是输入语料库采用文档对的形式，其组成文档共享单个主题分布。然而，对于由主题相似的文档组成的可比语料库，这种假设是强有力的，而这些文档又是最常见的或最容易获得的。在本文中，我们通过提议成对文档具有单独但绑定的主题分布来放宽这一假设。配对文档的分布之间的绑定机制。我们建议边界的强度应该取决于每对的语义相似性。为了估计用不同语言编写的文档的相似性，我们使用通过浅层神经网络学习的跨语言词嵌入。我们通过扩展两个主题模型来评估所提出的绑定机制，一个是假设词袋输入的 LDA 的双语改编，另一个是以语义连贯段边界的形式合并部分文本结构的模型。为了评估新主题模型的性能，我们对五个双语、可比较的英语文档语料库与法语、德语、意大利语、西班牙语和葡萄牙语文档进行了内在和外在实验。

Towards automatic identification of linguistic politeness in Hindi texts Authors Ritesh Kumar 在本文中，我提出了一个分类器，用于自动识别印地语文本中的语言礼貌。我使用了超过 25,000 条博客评论的手动注释语料库来训练 SVM。本文利用话语和互动的方法来表达礼貌，阐述了印地语规范的、约定俗成的礼貌结构。可以看出，使用这些人工识别的结构作为特征训练 SVM 显着提高了分类器在测试集上的性能。

Improvement in Machine Translation with Generative Adversarial Networks Authors Jay Ahn, Hari Madhu, Viet Nguyen 在本文中，我们通过生成对抗网络 GAN 架构探索机器翻译改进。我们从文本生成模型 RelGAN 和对抗性机器翻译模型 NMT GAN 中汲取灵感，实现了一个模型，该模型学习将笨拙、不流利的英语句子转换为流利的英语句子，同时仅在单语语料库上进行训练。我们使用参数 lambda 来控制与输入句子的偏差量，即在保留原始标记和修改它以使其更流畅之间进行权衡。在某些情况下，我们的结果改进了基于短语的机器翻译。特别是，带有变压器生成器的 GAN 显示出一些有希望的结果。

Automated Speech Scoring System Under The Lens: Evaluating and interpreting the linguistic cues for language proficiency Authors Pakhi Bamdev, Manraj Singh Grover, Yaman Kumar Singla, Payman Vafaee, Mika Hama, Rajiv Ratn Shah 英语水平评估已成为筛选和选择学术界和工业界潜在候选人的必要指标。随着对此类评估需求的增加，越来越有必要拥有自动化的人工可解释结果，以防止不一致并确保向第二语言学习者提供有意义的反馈。基于特征的经典方法在理解评分模型学习的内容方面更具可解释性。因此，在这项工作中，我们利用经典机器学习模型将语音评分任务制定为分类和回归问题，然后进行深入研究以解释和研究语言线索与说话者英语水平之间的关系.首先，我们提取流利度、发音、内容、语法和词汇以及声学五类下的语言学特征，并训练模型对响应进行评分。相比之下，我们发现基于回归的模型的性能等同于或优于分类方法。其次，我们进行消融研究以了解每个特征和特征类别对熟练程度分级表现的影响。此外，为了理解单个特征的贡献，我们展示了顶级特征对于评分任务的最佳性能算法的重要性。

Learning to Predict Persona Information forDialogue Personalization without Explicit Persona Description Authors Wangchunshu Zhou, Qifei Li, Chenle Li 个性化对话代理对于对话系统生成更具体、一致和引人入胜的响应很重要。然而，目前大多数对话个性化方法在推理过程中依赖于明确的角色描述，这严重限制了其应用。在本文中，我们提出了一种新方法，该方法可以学习根据对话历史预测角色信息，从而在推理过程中不依赖任何明确的角色描述来个性化对话代理。在PersonaChat 数据集上的实验结果表明，所提出的方法可以在以对话代理的预测配置文件（即自我角色）为条件时提高生成响应的一致性，并在以对话伙伴的预测角色为条件时提高生成响应的参与度。即他们的角色。

Joint Modeling of Code-Switched and Monolingual ASR via Conditional Factorization Authors Brian Yan, Chunlei Zhang, Meng Yu, Shi Xiong Zhang, Siddharth Dalmia, Dan Berrebbi, Chao Weng, Shinji Watanabe, Dong Yu 会话双语语音包括三种类型的话语，两种纯单语类型和一种句内代码切换类型。在这项工作中，我们提出了一个通用框架来联合建模包含双语语音识别的单语和代码切换子任务的可能性。通过定义带有标签到帧同步的单语子任务，我们的联合建模框架可以有条件地分解，从而仅在给定单语信息的情况下获得最终的双语输出，可能会或可能不会进行代码切换。我们表明，这种条件分解的联合框架可以通过端到端的可微神经网络进行建模。

Adversarial Training for a Hybrid Approach to Aspect-Based Sentiment Analysis Authors Ron Hochstenbach, Flavius Frasincar, Maria Mihaela Trusca Web 的日益普及随后增加了对产品和服务的评论。挖掘这些评论以表达情感对公司和消费者都是有益的，因为可以根据这些信息提高质量。在本文中，我们考虑了基于方面的情感分析的最先进的 HAABSA 算法，其任务是识别评论句子中对给定方面表达的情感。具体来说，我们使用对抗网络训练该算法的神经网络部分，这是一种新颖的机器学习训练方法，其中生成器网络试图通过生成高度逼真的新样本来欺骗分类器网络，从而提高鲁棒性。这种方法从未以其经典形式应用于基于方面的情感分析，被发现能够显着提高 SemEval 2015 数据集的 HAABSA 样本外准确性，准确性从 81.7 增加到 82.5，并且对于

Trend and Thoughts: Understanding Climate Change Concern using Machine Learning and Social Media Data Authors Zhongkai Shangguan, Zihe Zheng, Lei Lin 与传统的调查方法相比，如今 Twitter 等社交媒体平台提供了一个很好的机会来了解气候变化的公众舆论。在本文中，我们构建了一个海量的气候变化 Twitter 数据集，并使用机器学习进行了综合分析。通过主题建模和自然语言处理，我们展示了关于气候变化的推文数量与重大气候事件、人们讨论气候变化的共同话题和情绪趋势之间的关系。

Abusive and Threatening Language Detection in Urdu using Boosting based and BERT based models: A Comparative Approach Authors Mithun Das, Somnath Banerjee, Punyajoy Saha 在线仇恨在许多社交媒体平台上越来越受到关注。为了解决这个问题，不同的社交媒体平台已经针对此类内容引入了审核政策。他们还聘请了版主，可以检查违反节制政策的帖子并采取适当的行动。辱骂性语言研究领域的院士也进行了各种研究，以更好地检测此类内容。尽管对英语中的辱骂性语言检测进行了广泛的研究，但在印地语、乌尔都语等低资源语言中的辱骂性语言检测方面存在缺陷。在这个 FIRE 2021 共享任务 HASOC 乌尔都语中的辱骂性和威胁性语言检测中，组织者提出了一种辱骂性语言乌尔都语检测数据集以及威胁语言检测。在本文中，我们基于共享任务探索了几种机器学习模型，例如 XGboost、LGBM、m BERT 模型，用于乌尔都语中的辱骂性和威胁性内容检测。我们观察到专门针对阿拉伯语滥用语言数据集训练的 Transformer 模型有助于获得最佳性能。

DiPD: Disruptive event Prediction Dataset from Twitter Authors Sanskar Soni, Dev Mehta, Vinush Vishwanath, Aditi Seetha, Satyendra Singh Chouhan 骚乱和抗议如果失控，可能会在一个国家造成严重破坏。我们已经看到了这方面的例子，例如 BLM 运动、气候罢工、CAA 运动等等，它们在很大程度上造成了破坏。我们创建这个数据集的动机是用它来开发机器学习系统，让用户深入了解正在发生的趋势事件，并提醒他们注意可能导致国家中断的事件。如果任何事件开始失控，可以通过在事件升级之前对其进行监控来处理和缓解。该数据集收集了已知造成中断的过去或正在进行的事件的推文，并将这些推文标记为 1。我们还收集被认为是非事件的推文并将其标记为 0，以便它们也可用于训练分类系统。该数据集包含 94855 条独特事件记录和 168706 条独特非事件记录，因此数据集总共有 263561 条记录。我们从推文中提取多个特征，例如用户的关注者数量和用户的位置，以了解推文的影响和范围。

Undecidability in Finite Transducers, Defense Systems and Finite Substitutions Authors Vesa Halava 在这份手稿中，我们详细证明了正则语言 b 0,1 c 上有限替换等价的不可判定性。

Easy Semantification of Bioassays Authors Marco Anteghini, Jennifer D Souza, Vitor A.P. Martins dos Santos, S ren Auer 生物数据和知识库越来越依赖语义 Web 技术和知识图谱用于数据集成、检索和联合查询。我们提出了一种自动语义化生物测定的解决方案。我们的解决方案将自动语义化问题并置为分类与聚类，其中两种方法位于方法复杂性范围的两端。对我们的问题进行特征建模，我们发现聚类解决方案明显优于最先进的深度神经网络分类方法。这种新颖的贡献基于两个因素 1 在数据优于具有复杂语义建模的替代方法之后紧密建模的学习目标 2 自动语义化生物测定实现了接近 83 的高性能 F1，据我们所知，这是首次报道的标准化评估

A Natural Language Processing and Deep Learning based Model for Automated Vehicle Diagnostics using Free-Text Customer Service Reports Authors Ali Khodadadi, Soroush Ghandiparsi, Chen Nee Chuah 初始故障检测和诊断是提高车辆运行效率、安全性和稳定性的必要措施。近年来，许多研究调查了数据驱动的方法，以使用可用的车辆数据改进车辆诊断过程。此外，采用数据驱动的方法来增强客户服务代理交互。在这项研究中，我们展示了一个机器学习管道，以改进自动车辆诊断。首先，自然语言处理 NLP 用于从客户致电服务部门期间生成的自由文本故障报告中自动提取关键信息。然后，使用深度学习算法来验证服务请求并过滤模糊或误导性的声明。最终，通过不同的分类算法对服务请求进行分类，从而将有效的服务请求引导至相关的服务部门。与技术人员的能力相比，所提出的模型双向长短期记忆 BiLSTM 和卷积神经网络 CNN 在验证服务请求方面的准确性提高了 18 倍以上。此外，在预处理和特征提取阶段使用基于域的 NLP 技术以及基于 CNN BiLSTM 的请求验证增强了梯度树提升 GTB 服务分类模型的准确性 25 、敏感性 39 、特异性 11 和精度 11 。

Do We Still Need Automatic Speech Recognition for Spoken Language Understanding? Authors Lasse Borgholt, Jakob Drachmann Havtorn, Mostafa Abdou, Joakim Edin, Lars Maal e, Anders S gaard, Christian Igel 口语理解 SLU 任务通常通过首先使用自动语音识别 ASR 转录话语，然后将输出提供给基于文本的模型来解决。语音数据的自监督表示学习的最新进展集中在改进 ASR 组件上。我们调查语音的表征学习是否已经成熟到足以取代 SLU 中的 ASR。我们比较了从 wav2vec 2.0 学到的语音特征、最先进的 ASR 成绩单和地面实况文本作为基于新语音的命名实体识别任务、真实世界紧急呼叫的心脏骤停检测任务和两个现有 SLU 基准的输入。我们表明，在三个分类任务上，学习到的语音特征优于 ASR 转录本。对于机器翻译，ASR 成绩单仍然是更好的选择。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com