AI视野·今日CS.NLP 自然语言处理论文速览
Thu, 24 Jun 2021
Totally 17 papers
👉上期速览✈更多精彩请移步主页
Daily Computation and Language Papers
| BERT-based Multi-Task Model for Country and Province Level Modern Standard Arabic and Dialectal Arabic Identification Authors Abdellah El Mekki, Abdelkader El Mahdaouy, Kabil Essefar, Nabil El Mamoun, Ismail Berrada, Ahmed Khoumsi 方言和标准语言识别是许多阿拉伯语自然语言处理应用程序的重要任务。在本文中，我们介绍了我们的深度学习系统，提交了第二个NADI共享任务，以获得现代标准阿拉伯语MSA和辩证阿拉伯语DA的国家一级和省级识别。该系统基于结束到结束深度多任务学习MTL模型来解决国家级和省级MSA DA识别。后一MTL模型由共享双向编码器表示变压器BERT编码器，两个任务特定的注意层和两个分类器组成。我们的主要思想是利用国家和省和省MSA DA识别的任务判别和任务间共享特征。所获得的结果表明，我们的MTL模型在大多数子任务上表现出单一任务模型。 |
| Deep Multi-Task Model for Sarcasm Detection and Sentiment Analysis in Arabic Language Authors Abdelkader El Mahdaouy, Abdellah El Mekki, Kabil Essefar, Nabil El Mamoun, Ismail Berrada, Ahmed Khoumsi 比喻语言设备（如讽刺和讽刺）的突出，对阿拉伯语情绪分析SA构成了严峻的挑战。虽然以前的研究作品分别解决SA和讽刺检测，但本文介绍了结束到结束深度多任务学习MTL模型，允许两个任务之间的知识交互。我们的MTL模型S架构包括来自变换器BERT模型的双向编码器表示，多任务注意力交互模块和两个任务分类器。总体获得的结果表明，我们所提出的模型在SA和讽刺检测子任务中表现出其单一任务对应物。 |
| Classifying Textual Data with Pre-trained Vision Models through Transfer Learning and Data Transformations Authors Charaf Eddine Benarab 通过经验通过人类获得知识，并且在我们可以同时实现不同任务的知识或技能级别之间没有设置边界。当涉及神经网络时，这不是这种情况，该领域的主要突破是特定于特定的任务和域。使用单独的方法和不同的数据集处理愿景和语言。在这项工作中，我们建议使用基准视觉模型获取的知识，这些模型在想象中培训，以帮助更小的架构学习对文本进行分类。将IMDB数据集中包含的文本数据转换为灰度尺度图像后。进行了对不同域和转移学习方法的分析。尽管挑战了非常不同的数据集，但取得了有希望的结果。这项工作的主要贡献是一种新的方法，它在语言和愿景中联系了大型预磨削模型，以实现最新的原始问题，从原始任务中的不同子字段。不需要高计算容量资源。具体而言，在转移视觉和语言模型之间的知识之后实现了情绪分析。 BERT Embeddings被转换为灰度图像，然后将这些图像作为验证视觉模型的训练示例，如vgg16和Reset |
| Mixtures of Deep Neural Experts for Automated Speech Scoring Authors Sara Papi, Edmondo Trentin, Roberto Gretter, Marco Matassoni, Daniele Falavigna 本文与自动评估第二语言熟练程度的任务，语言学习者对测试提示进行了响应。该任务与计算机辅助语言学习领域具有重要相关性。纸张中呈现的方法依赖于两个单独的模块1自动语音识别系统，它产生所涉及的口语交互的文本成绩单，以及基于深度学习者的多分类器系统，将成绩单划分为熟练课程。不同的深神经网络架构馈线向前和反复转换都是专门从事文本的各种表示，就参考语法，概率语言模型的结果，几个单词嵌入式和两袋单词模型。通过概率伪关节模型或通过专家的神经混合来实现各个分类器的组合。使用第三个口语呼叫共享任务挑战的数据，在三个流行的评估指标方面获得了最高值。 |
| End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages Authors Josef Jon, Jo o Paulo Aires, Du an Vari , Ond ej Bojar Lexly约束的机器转换允许用户通过强制执行某些单词和短语的存在或不存在来操纵输出句子。虽然目前的方法可以实施术语以出现在翻译中，但它们往往会努力使约束词形式同意其余的生成输出。我们的手动分析表明，对于捷克语翻译的基准约束模型输出中的46个错误与协议有关。我们调查了允许神经电机翻译的机制推断给予lemmatized约束的正确词拐点。特别是，我们专注于基于培训模型的方法，其中包含作为输入序列的一部分提供的约束。我们对英语捷克语对的实验表明，这种方法通过减少协议中的错误来提高自动和手动评估中的受约束术语的翻译。因此，我们的方法消除了拐点错误，而不会引入新的错误或降低翻译的整体质量。 |
| Reinforcement Learning-based Dialogue Guided Event Extraction to Exploit Argument Relations Authors Qian Li, Hao Peng, Jianxin Li, Yuanxing Ning, Lihong Wang, Philip S. Yu, Zheng Wang 事件提取是自然语言处理的基本任务。寻找事件参数等事件参与者的角色对于事件提取至关重要。然而，为现实生活中的事件描述做出具有挑战性，因为参数的角色经常在不同的上下文中变化。虽然多个参数之间的关系和交互对于解决参数角色是有用的，但这些信息主要被现有方法忽略。本文通过明确利用事件参数的关系，提出了更好的事件提取方法。我们通过精心设计的面向对话系统实现这一目标。为了模拟参数关系，我们采用了强化学习和增量学习，通过多转迭代过程来提取多个参数。我们的方法利用了了解相同句子的已经提取的参数来确定难以单独决定的论据的作用。然后，它使用新获得的信息来改善先前提取的参数的决策。这两种方法反馈过程使我们能够利用论证关系，有效地解决争论角色，导致更好的句子理解和事件提取。实验结果表明，我们的方法始终如一地优于七种现有事件提取方法的状态，以便分类事件和论证角色和论证识别。 |
| PALRACE: Reading Comprehension Dataset with Human Data and Labeled Rationales Authors Jiajie Zou, Yuran Zhang, Peiqing Jin, Cheng Luo, Xunyi Pan, Nai Ding 预培训的语言模型在机器阅读理解机器上实现了高性能，但结果很难解释。一种吸引模型可解释的方法是提供其决定的理由。为了促进监督人类理由的学习，在这里，我们在这里展示了帕雷斯修剪和标记的比赛，这是一个新的MRC数据集，具有从赛马集合中选择的800个段落的人为标签的理由。我们进一步将每个段落分为6种类型。至少26名参与者读取每个段落，他们标记了他们的理由以回答这个问题。此外，我们进行了一个理由评估会议，其中要求参与者仅根据标签的理由来回答这个问题，证实标记的理由具有高质量，可以充分支持问题回答。 |
| Recognising Biomedical Names: Challenges and Solutions Authors Xiang Dai 生物医学文件量的增长率是惊人的。被困在这些文件中的解锁信息可以使研究人员和从业者在信息世界中自信地运营。生物医学网，识别生物医学名称的任务通常是NLP管道的第一步。标准NER模型基于序列标记技术，擅长识别通用域中的短实体提及。然而，应用这些模型的几个开放挑战以识别生物医学名称1生物医学名称可能包含复杂的内部结构不连续性和重叠不能使用标准序列标记技术2识别Ner模型的训练通常需要大量标记数据，这通常需要大量标记数据在生物医学域中难以获得，并且，3个常用的语言表示模型是预先训练的通用数据，因此在这些模型和目标生物医学数据之间存在域移位。要解决这些挑战，我们探讨了几个研究方向，并提出了以下贡献1，我们提出了一个基于过渡的NER模型，可以识别不连续提及2，我们开发了一种成本效益的方法，可以提名合适的预训练数据，3我们设计了几个数据ner的增强方法。我们的贡献具有明显的实际影响，特别是在需要新的生物医学应用程序时。我们所提出的数据增强方法可以帮助NER模型实现体面的性能，只需要少量标记数据。我们对选择预训练数据的调查可以通过结合语言表示模型来改进模型，这些模型是预先使用在域数据中的训练。最后，我们所提出的基于转换的NER模型可以通过识别不连续提及来进一步提高性能。 |
| NodePiece: Compositional and Parameter-Efficient Representations of Large Knowledge Graphs Authors Mikhail Galkin, Jiapeng Wu, Etienne Denis, William L. Hamilton 知识图形的传统表示学习算法KG将每个实体映射到唯一的嵌入向量。这种浅查找导致存储嵌入矩阵的内存消耗的线性生长，并在使用现实世界KGS时引发高计算成本。绘制与NLP中的子字标记的平行区，我们探讨了更多参数高效节点嵌入策略的景观，可能是额定内存要求。为此，我们提出了一种基于锚的锚点的索引来学习固定尺寸实体词汇表。在缠绕因子中，子字子实体单元的词汇量由具有已知关系类型的图表中的锚节点构成。鉴于这种固定大小的词汇表，可以为任何实体引导编码和嵌入，包括在训练期间的那些看不见的实体。实验表明，缠结仪在节点分类，链路预测和关系预测任务中执行竞争性地执行，同时将少于10个在图中保留为锚的少于10个，并且通常具有10倍的参数。 |
| Zero-Shot Joint Modeling of Multiple Spoken-Text-Style Conversion Tasks using Switching Tokens Authors Mana Ihori, Naoki Makishima, Tomohiro Tanaka, Akihiko Takashima, Shota Orihashi, Ryo Masumura 在本文中，我们提出了一种新颖的语言文本方式转换方法，可以同时执行多种样式转换模块，例如标点符号恢复和失风删除，而无需准备匹配的数据集。在实践中，由自动语音识别系统产生的转录不太可读，因为它们通常包括许多不流化并且不包括标点符号。为了提高其可读性，多个口语文本样式转换模块，单独模拟单个转换任务的级联，因为同时处理多个转换任务的匹配数据集通常不可用。然而，由于转换误差链，级联对任务顺序不稳定。此外，级联的计算成本必须高于单个转换。要在不准备匹配的数据集的情况下同时执行多个转换任务，我们的主要思想是使用ON关闭交换机来区分单个转换任务。在我们提出的零拍摄联合建模中，我们使用多个交换令牌切换各个任务，使我们能够利用零射击学习方法来执行同时转换。我们对无变性缺失和标点恢复的联合建模的实验证明了我们方法的有效性。 |
| It's All in the Heads: Using Attention Heads as a Baseline for Cross-Lingual Transfer in Commonsense Reasoning Authors Alexey Tikhonov, Max Ryabinin 致辞推理是自然语言处理中的关键问题之一，但标记数据的相对稀缺性缺少英语以外的语言的进度。预先磨削的十字形模型是强大的语言不可知论者的来源，但它们的固有推理能力仍然积极研究。在这项工作中，我们设计了一种简单的致辞推理方法，它将线性分类器列举，作为特征的重量。为了评估这种方法，我们通过在标准化管道内的先前工作中处理多种数据集来创建多语言WinoGrad架构语料库，并在出样的样本性能方面测量交叉语言泛化能力。该方法竞争地区的竞争性和无监督和无监督的型号推理方法，即使应用于以零拍摄方式应用于其他语言。此外，我们证明大多数性能由所有学习语言的相同小的注意头给出，这提供了多语言编码器中的普遍推理能力的证据。 |
| On Positivity Bias in Negative Reviews Authors Madhusudhan Aithal, Chenhao Tan 事先工作揭示了积极的词语比人类表达中的负面词更频繁地发生，这通常归因于积极偏见，人们报告现实的积极观点的趋势。但是，对于否定审查的语言，与事先工作符合的否定的语言呢，我们认为英语负面评论往往与使用各种数据集包含更积极的单词。我们与现有结果调和这一观察结果，并表明否定否定与负面评论中的积极词语有关。此外，在否定评论中，大多数句子具有积极的词语，基于情绪分类者表达负面意见，表明某种形式的否定。 |
| A Simple and Practical Approach to Improve Misspellings in OCR Text Authors Junxia Lin 1 , Johannes Ledolter 2 1 Georgetown University Medical Center, Georgetown University, 2 Tippie College of Business, University of Iowa 我们文件的重点是OCR文本中的非单词错误的识别和纠正。这些错误可能是字符中的不正确，删除或替换字符的结果，或在单个单词中转换两个相邻字符的转换。或者，它可以是单词边界问题的结果，导致错误运行错误和不正确的分割错误。传统的N克校正方法可以有效地处理单个单词误差。但是，它们在处理拆分和合并错误时显示局限性。在本文中，我们开发了一种无人监督的方法，可以处理两个错误。我们开发的方法导致校正速率的大量改进。本教程纸张解决了非常困难的单词校正问题，即不正确的运行和拆分错误，并说明在解决此类问题时需要考虑的内容。我们概述了可能的方法，并在有限的研究中评估其成功。 |
| ABCD: A Graph Framework to Convert Complex Sentences to a Covering Set of Simple Sentences Authors Yanjun Gao, Ting hao Kenneth Huang, Rebecca J. Passonneau 原子条款是了解复杂句子的基本文本单位。在复杂句子中识别原子句对诸如摘要，参数挖掘，话语分析，话语解析和问题应答之类的应用很重要。以前的工作主要依赖于基于规则的方法，依赖于解析。我们提出了一种新任务，可以将每个复杂的句子分解为从源中的加紧子句派生的简单句子，以及作为图形编辑任务的新颖问题制定。我们的神经模型学会了接受，打破，复制或删除与词邻接和语法依赖性的图表的元素。完整的处理管道包括用于图形构造的模块，图形编辑和从输出图中生成的句子。我们介绍Desse，一个新的数据集，旨在培训和评估复杂的句子分解，而Minwiki，MinwikiSplit的子集。 ABCD在Minwiki上的两个解析基线实现了类似的性能。在Desse上，这对复杂句型更均匀的平衡，我们的模型比编码器解码器基线的原子句子数量更高。结果包括详细的错误分析。 |
| On the Diversity and Limits of Human Explanations Authors Chenhao Tan NLP中的越来越努力旨在建立人类解释数据集。然而，术语解释包括广泛的概念，每个概念具有不同的性质和后果。我们的目标是提供各种类型的解释和人为局限性的概述，并讨论用于收集和使用NLP的解释的影响。灵感来自于心理学和认知科学的事先工作，我们将NLP的现有人体解释分为三类近端机制，证据和程序。这三种类型的性质差异，并对所产生的解释具有影响。例如，程序不被视为心理学中的解释，并与从指示学习的丰富的工作组联系。解释的多样性进一步证明了注释者所需的代理问题，以解释和回答开放结束的原因。最后，解释可能需要不同，通常更深刻的理解，而不是预测，这对人类可以在一些任务中提供有用的解释。 |
| Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding Authors Shengjie Luo, Shanda Li, Tianle Cai, Di He, Dinglan Peng, Shuxin Zheng, Guolin Ke, Liwei Wang, Tie Yan Liu 由于其二次复杂性，是变压器中的关注模块，其是变压器中的重要组件，不能高效地扩展到长序列。许多作品侧重于近似点点，然后在原始关注中指数软MAX功能，导致亚二次甚至线性复杂性变压器架构。但是，我们表明这些方法不能应用于超越点的更强大的注意模块，然后是指数样式，例如具有相对位置编码RPE的变压器。由于在许多州的最先进模型中，相对位置编码被用作默认，设计可以包含RPE的高效变压器是吸引人的。在本文中，我们提出了一种新的方法来加速对RPE的变压器的关注计算在脑内关注的顶部。基于观察到相对位置编码形成Toeplitz矩阵，我们数学地表明，可以使用快速傅里叶变换FFT有效地计算具有RPE的核化注意。使用FFT，我们的方法实现了Mathcal On Loge复杂性。有趣的是，我们进一步证明使用相对位置编码适当地可以减轻香草丛内容的培训不稳定问题。在广泛的任务上，我们经验证明我们的模型可以从头开始培训，没有任何优化问题。学习模型比许多高效的变压器变体进行更好，并且比长序列制度的标准变压器更快。 |
| CharacterChat: Supporting the Creation of Fictional Characters through Conversation and Progressive Manifestation with a Chatbot Authors Oliver Schmitt, Daniel Buschek 我们呈现字符，概念和聊天，以支持创建虚构人物的作家。具体地，作家通过对话逐渐将机器人转换为其想象的性格。我们以用户为中心的方法迭代地开发了特征，从对作家N 30的角色创建的调查开始，其次是两个定性用户研究N 7和N 8。我们的原型结合了两个模式1个引导提示帮助作家定义字符属性。用户您的名字是简。 ，包括为属性的建议例如。 Bot是什么是我的主要动力和价值，作为基于规则的系统，具有概念网络。 2与Chatbot的开放对话有助于作家探索其字符并获得灵感，实现了一种语言模型，考虑了定义的字符属性。我们的用户学习揭示了尤其是对人格创作的早期阶段的好处，以及由于有限的对话能力而导致的挑战。我们与学习的经验教训和未来工作的想法结束。 |
| Chinese Abs From Machine Translation |
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
