【AI视野·今日NLP 自然语言处理论文速览 第十九期】Mon, 5 Jul 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Mon, 5 Jul 2021
Totally 20 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

Language Identification of Hindi-English tweets using code-mixed BERT Authors Mohd Zeeshan Ansari, M M Sufyan Beg, Tanvir Ahmad, Mohd Jazib Khan, Ghazali Wasim 近年来，社交媒体文本的语言识别是一项有趣的研究问题。社交媒体消息主要在非英语状态中混合的代码中。通过预训练上下游任务的先前训练的先验知识表明了最先进的下游任务。最近，BERT等模型已经表明，使用大量的未标记数据，预先训练的语言模型对于学习公共语言表示更有利。本文介绍了广泛的实验，利用转移学习和微调BERT模型来识别Twitter上的语言。该工作利用了Hindi英语Urdu CodeMixed文本的数据收集，用于语言前培训和后续字级语言分类的印度英语Codemixed。结果表明，通过CodeMixed数据预先培训的表示通过它们的单声道对应物产生更好的结果。

DRIFT: A Toolkit for Diachronic Analysis of Scientific Literature Authors Abheesht Sharma, Gunjan Chhablani, Harshit Pandey, Rajaswa Patil 在这项工作中，我们向NLP社区提供，以及整体上更广泛的研究界，是研究Corpora的历史分析的应用。我们开源易于使用的工具被创造的漂移，这使得研究人员多年来跟踪研究趋势和发展。分析方法是从引用的研究工作中进行的，其中一些方法增加了很多方法。简洁地放置了一些分析方法是关键词提取，词云，使用生产率，使用加速度地图跟踪毕克，查找语义漂移，使用相似性等，跟踪趋势等来证明使用相似性等的语义漂流在我们的工具中，我们对Arxiv存储库的CS.CL Corpus进行了案例研究，并从分析方法中汲取推断。此处可提供Toolkit和相关代码

DUKweb: Diachronic word representations from the UK Web Archive corpus Authors Adam Tsakalidis, Pierpaolo Basile, Marya Bazzi, Mihai Cucuringu, Barbara McGillivray 词汇语义变化检测词的含义和使用情况是社会和文化研究的重要任务，以及自然语言处理应用。 Diachronic Word Embeddings时间敏感的矢量表示，保持其含义的单词已成为此任务的标准资源。然而，鉴于他们的生成所需的重要计算资源，存在很少的资源，使得对科学界可用的历史态度嵌入。

Unsupervised Spoken Utterance Classification Authors Shahab Jalalvand, Srinivas Bangalore 智能虚拟助理IVA通过口语分类SUC来实现呼叫路由中的轻松对话，这是一种特殊的口语语言理解股票。构建SEC系统需要在不始终可用的域数据中进行大量监督。在本文中，我们介绍了一个无人监督的话语分类方法USUC，除了意图标签和每种意图的几个段短语之外，不需要任何域数据。 USUC由KNN分类器K 1组成，并在大量无监督的客户服务语料库上培训了复杂的嵌入式模型。在所有嵌入式模型中，我们展示Elmo最适合USUC。但是，ELMO模型太慢，无法在运行时使用呼叫路由。要解决此问题，请先计算UNI和BI GRAM嵌入向量的脱机，我们构建N克的查找表及其相应的嵌入矢量。然后，我们使用此表来计算运行时嵌入的句子嵌入向量，以及未经看不见的n克的支持技术。实验表明，USUC通过将分类错误率从32.9到27.0降低，而无需监督数据，USUC优于传统的话语分类方法。此外，我们的查找和退出技术将每秒16个发声提高到16个发声的处理速度。

R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling Authors Xiang Hu, Haitao Mi, Zujie Wen, Yafang Wang, Yi Su, Jing Zheng, Gerard de Melo 人类语言理解在多个粒度级别的粒度方面进行操作，例如，单词，短语和句子，随着可以分层组合的抽象级别的增加。但是，具有堆叠层的现有深层模型不明确模拟任何类型的分层过程。本文提出了一种基于可分辨率CKY风格二元树的递归变压器模型，以模拟组合物过程。我们将双向语言模型预培训目标扩展到此架构，试图以其左和右抽象节点预测每个单词。为了扩大我们的方法，我们还介绍了一种有效的修剪树诱导算法，以便在只需线性数量的组合步骤中进行编码。语言建模和无监督解析的实验结果表明了我们方法的有效性。

Concept Identification of Directly and Indirectly Related Mentions Referring to Groups of Persons Authors Anastasia Zhukova, Felix Hamborg, Karsten Donnay, Bela Gipp 无监督的概念通过聚类识别，即识别语义相关的单词和短语，是识别各种用例中使用的上下文基元的常见方法，例如，文本维度减少，即替换具有概念的单词以减少词汇量，概述，并命名实体分辨率。我们展示了鉴定一组相关文章中提取的行为者识别人群的无监督方法的第一个结果。具体而言，方法集群提到了作为文本中的非命名实体演员的人群，例如移民家庭寻求者。与我们的基线相比，该方法使得地中国实体的提到，例如伊朗领导人欧洲领导人，以及与不同的措辞直接相关提到的集群，例如美国官员王牌特朗普管理。

Data Centric Domain Adaptation for Historical Text with OCR Errors Authors Luisa M rz, Stefan Schweter, Nina Poerner, Benjamin Roth, Hinrich Sch tze 我们为荷兰语和法语的历史数据提出了名为实体识别网的域和跨域的新方法。对于跨域案例，通过通过上下文化的字符串嵌入和OCR错误在源域中注入源域和地址数据中心域自适应，通过对域数据进行整合来解决域移位来解决域移位。我们提出了一种常规方法来模仿任意输入数据中的OCR错误。我们的跨领域以及我们的域名结果优于几个强的基线，建立了最先进的结果。我们发布了法国和荷兰欧洲人最基地的预处理版本。

Learned Token Pruning for Transformers Authors Sehoon Kim, Sheng Shen, David Thorsley, Amir Gholami, Joseph Hassoun, Kurt Keutzer 部署变压器模型中的一项重大挑战是它们的禁止推理成本，其与输入序列长度相等。这使得可以使用变压器来处理长序列来说。为了解决这个问题，我们提出了一种新颖的学习令牌修剪LTP方法，可减少冗余令牌，因为数据通过变压器的不同层。特别是，LTP修剪令牌的注意力得分低于阈值，这在训练期间学习。重要的是，我们的基于阈值的方法避免了算法昂贵的操作，例如以先前令牌修剪方法使用的顶部K令牌选择，并且还导致结构化修剪。我们广泛地测试了我们对多种胶水任务的方法的性能，并表明我们的学习阈值基于阈值的方法始终如一地优于最高的基于艺术品顶部K令牌的方法，最多高达2个更高的拖鞋。此外，我们的初步结果显示出高达1.4倍和1.9倍的吞吐量改进，分别对特斯拉T4 GPU和英特尔Haswell CPU的吞吐量改进，精度下降的1个低于1，减少高达2.1倍。我们的代码已在Pytorch开发，并已开放。

Heterogeneous Graph Attention Network for Multi-hop Machine Reading Comprehension Authors Feng Gao, Jian Cheng Ni, Peng Gao, Zi Li Zhou, Yan Yan Li, Hamido Fujita 多跳机阅读理解是在自然语言处理中的一个具有挑战性的任务，这需要更多的推理能力和解释性。基于图形卷积网络的光谱模型授予推断能力并导致竞争结果，然而，其中一部分仍然面临着以人类理解的方式分析推理的挑战。灵感来自认知神经科学中祖母细胞的概念，提出了一个名为CRNAME的空间图注意框架，模仿程序。该模型旨在组装多角度表示中的语义特征，并自动集中注意力或缓解推理信息。名称CRNAME是模型模式的隐喻，将查询的主题视为线索的起点，以推理实体作为桥接点，并将潜在候选实体视为祖母细胞，并将线索最终占候选人实体。所提出的模型允许我们可视化推理图并分析连接两个实体的边缘的重要性以及提及和候选节点中的选择性，这可以更容易地理解。开放式域读数数据集Wikihop和药物互动数据集Medhop的官方评估证明了我们方法的有效性，并显示了模型在分子生物学域中的应用概率。

He Thinks He Knows Better than the Doctors: BERT for Event Factuality Fails on Pragmatics Authors Nanjiang Jiang, Marie Catherine de Marneffe 我们调查了伯特如何在几个现有英语数据集中的预测事实情况上表现如何，包括各种语言结构。虽然BERT在大多数数据集上获得了强大的性能，但它通过利用与某些事实标签相关的共同表面模式来实现，并且它在必要的实例上失败。与高性能的建议相反，我们仍然远远没有对事实预测具有鲁棒系统。

An Investigation of the (In)effectiveness of Counterfactually Augmented Data Authors Nitish Joshi, He He 虽然预磨料语言模型实现了对自然语言理解基准的良好表现，但它们倾向于依靠杂散的相关性并概括到分销的数据不足。最近的工作已经探索了通过最小扰动示例生成的反转增强数据CAD数据来翻转地面真理标签以识别在分发班次下不变的强大功能。然而，使用CAD进行了泛型化的经验结果已经混合。为了解释这种差异，我们从线性高斯模型中汲取了洞察力，并展示了CAD的陷阱。具体而言，我们展示了一段时间CAD在识别稳健的特征时有效，它可能会阻止模型学习不受干扰的鲁棒特征，并且B CAD可以加剧数据中存在的现有杂散相关性。我们的研究结果表明，目前CAD数据集中缺乏扰动多样性限制了其对泛化泛化的有效性，呼吁创新的众群手术，以引发各种扰动的例子。

Interactive decoding of words from visual speech recognition models Authors Brendan Shillingford, Yannis Assael, Misha Denil 这项工作描述了一种交互式解码方法，以改善使用用户输入来补偿任务的固有歧义的可视语音识别系统的性能。与大多数Phoneme与解码管道不同，它通过有限状态换能器产生音素并通过有限状态传感器馈送这些管道，而是在锁定部门中扩展的方法，促进在每个单词位置处插入交互点。交互点使我们能够在解码期间征求输入，允许用户交互地引导解码过程。我们使用Oracle模拟用户输入的行为来提供自动评估，并显示使用此方法进行文本输入的承诺。

A Primer on Pretrained Multilingual Language Models Authors Sumanth Doddapaneni, Gowtham Ramesh, Anoop Kunchukuttan, Pratyush Kumar, Mitesh M. Khapra 多语言语言模型MLLM，如MBBERT，XLM，XLM R，TEXTIT等。已成为一种可行的选择，使预先预测到大量语言的力量。鉴于他们在零射击转移学习中取得成功，在我建立大量的MLLMS中，覆盖了大量语言II的大量工作，该涵盖了用于评估MLLMS III的更广泛种类的任务和语言的详尽型号，分析了MLLMS的性能单声道，零射击Crosslingual和双语任务IV了解普通语言模式如果通过MLLMS和V增强MLLMS的经常有限的容量，以提高其在所见或甚至看不见的语言上的性能。在本调查中，我们审查了现有文献，涵盖了与MLLM有关的上述研究的广泛研究。基于我们的调查，我们建议您的一些未来研究方向。

Transformer-F: A Transformer network with effective methods for learning universal sentence representation Authors Yu Shi 变压器模型广泛用于句子表示的自然语言处理。然而，以前的基于变压器的模型侧重于大多数情况下具有有限意义的功能词，并且可以仅提取高级语义抽象功能。在本文中，引入了两种方法以提高变压器的性能。我们通过将语音重量向量乘以相关系数来计算注意评分，这有助于提取具有更实际含义的单词。基于语音部分的重要性，通过输入文本序列获得权重向量。此外，我们融合了每层的特征，使句子表示结果更加全面和准确。在实验中，我们展示了模型变压器F在三个标准文本分类数据集中的有效性。实验结果表明，与基线模型相比，我们所提出的模型显着提高了文本分类的性能。具体而言，我们在简单的任务上获得5.28对Vanilla变压器的相对改进。

Ethics Sheets for AI Tasks Authors Saif M. Mohammad 几个高调事件，例如使用偏见的累官系统以及对易受攻击的子群体的情感识别系统的质量测试，突出了技术如何导致那些已经被边缘化的人更不利的结果。在这篇论文中，我将判断不仅在各个模型和数据集的级别的道德考虑，而且在AI任务的水平上思考道德考虑因素。我将提出一种新的形式，即AI任务的道德表，致力于充实隐藏的假设和道德考虑因素，这些假设和伦理考虑在如何在我们对数据，方法和评估方面的选择和选择中的选择中。最后，我将提供一个用于自动情感识别的示例道德表。与AI系统的数据集和模型卡一起，道德表一起帮助开发和部署负责任AI系统。

SocialAI: Benchmarking Socio-Cognitive Abilities in Deep Reinforcement Learning Agents Authors Grgur Kova , R my Portelas, Katja Hofmann, Pierre Yves Oudeyer 建立能够参与与人类社会互动的自治代理是AI的主要挑战之一。在深度钢筋学习DRL领域，这一目标激励了多种作品对体现语言使用。然而，目前的方法在非常简化和非不同的社交情况下将语言关注作为通信工具，语言的自然程度降低到高词汇大小和可变性的概念。在本文中，我们认为针对人类水平AI需要更广泛的关键社交技能1语言使用在复杂和可变的社会环境中，超越语言，复杂的体现在不断发展的社会世界内的多模式环境中的通信。我们解释了认知科学的概念如何帮助AI向人类的智力绘制路线图，重点关注其社会方面。作为第一步，我们建议将目前的研究扩大到更广泛的核心社交技能。为此，我们展示了一个评估了使用其他脚本社会代理商的多个网格世界环境来评估获取DRL代理商社交技能的基准。然后，我们研究了最近的Sota DRL方法的限制，当时在Sowisai上进行测试并讨论熟练社会代理商的重要下一步。视频和代码可用

Misinformation Detection on YouTube Using Video Captions Authors Raj Jagtap, Abhinav Kumar, Rahul Goel, Shakshi Sharma, Rajesh Sharma, Clint P. George 数百万人使用youtube，facebook，twitter等大众媒体等平台。由于这些平台的可访问性，它们通常用于建立叙述，行为宣传和传播错误信息。这项工作提出了一种方法，该方法使用现有技术的NLP技术来提取来自视频字幕字幕的特征。为了评估我们的方法，我们利用公开访问和标记的数据集进行分类视频作为错误信息。探索视频标题背后的动机源于我们对视频元数据的分析。诸如视图，喜欢，不喜欢的数量等的属性是无效的，因为视频很难使用此信息。使用标题数据集，所提出的型号可以在三个类别错误信息，揭示错误信息和中立中对视频进行分类，并使用0.85至0.90 F1得分。为了强调错误信息阶级的相关性，我们将我们的分类问题作为两类分类错误信息与其他揭露误导性和中立的分类问题。在我们的实验中，所提出的模型可以将视频分类为0.92至0.95 F1分数和0.78至0.90 AUC ROC。

Target-dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots Authors Shintaro Ishikawa, Komei Sugiura 目前，国内服务机器人通过语言自然地互动的能力不足。这是因为理解人类指令因各种歧义和缺少信息而复杂化。在现有方法中，指定对象之间的关系的引用表达式是不够建模的。在本文中，我们提出了目标依赖的界限，通过专注于图像内的相关区域而不是整个图像，直接学习目标对象和其他对象之间的关系。我们的方法是基于偶联的变压器的扩展，可以在通用数据集上预先磨损。我们通过引入用于处理目标候选人的新架构来扩展Uniter方法。我们的模型在两个标准数据集上验证，结果表明，目标相关的终端在分类准确性方面优于基线方法。

Case Relation Transformer: A Crossmodal Language Generation Model for Fetching Instructions Authors Motonari Kambara, Komei Sugiura 机器人有很多研究，以提高国内服务机器人的沟通技巧。然而，大多数研究没有完全受益于深度神经网络的最近进步，因为训练数据集不够大。在本文中，我们的目的是基于跨型语言生成模型来增加数据集。我们提出了壳体关系变压器CRT，它从图像中生成提取指令句子，例如将蓝色触发器移动到左下框。与现有方法不同，CRT使用变压器集成图像中对象的视觉功能和几何特征。由于案例关系块，CRT可以处理对象。我们进行了比较实验和人类评估。实验结果表明CRT优于基线方法。

Normalizing Flow based Hidden Markov Models for Classification of Speech Phones with Explainability Authors Anubhab Ghosh, Antoine Honor , Dong Liu, Gustav Eje Henter, Saikat Chatterjee 为了追求解释性，我们开发了用于顺序数据的生成模型。所提出的模型提供了最先进的分类结果和语音电话分类的鲁棒性能。我们结合了现代神经网络标准化流动和传统的生成模型隐马尔可夫模型HMMS。标准化基于流的混合物模型NMMS用于在HMMS中给出给定隐藏状态的条件概率分布。模型参数通过明智时间的时间测试贝叶斯学习方法和当代神经网络学习方法来了解。我们主要结合期望最大化EM和迷你批量梯度下降。所提出的生成模型可以计算数据的可能性，因此直接适用于最大似然ML分类方法。由于HMMS的结构灵活性，我们可以使用不同的标准化流模型。这导致不同类型的HMMS提供数据建模容量的分集。多样性为来自不同模型的简单决策融合提供了机会。对于涉及39个手机类和Timit DataSet的标准语音电话分类设置，我们表明使用称为MEL频率谱系CEFFCERS的标准功能MFCC，所提出的生成模型，以及决策融合在一起可以通过生成培训实现86.6精度。该结果靠近最先进的结果，例如，使用光门控复发单元2，Pytorch Kaldi Toolkit 1的86.2精度为86.2精确度。我们不使用本文中的任何歧视性学习方法和相关的复杂功能。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com