AI视野·今日CS.NLP 自然语言处理论文速览
Mon, 21 Jun 2021
Totally 24 papers
👉上期速览✈更多精彩请移步主页
Daily Computation and Language Papers
| Enhancing user creativity: Semantic measures for idea generation Authors Georgi V. Georgiev, Danko D. Georgiev 人类的创造力产生了解决现实世界问题的新颖思想。这使得我们为改变周围世界的权力授予，并扩展我们的人类属性超出目前可能的。创意不仅仅是新的和意外，而且还可以在提供有用，高效和有价值的解决方案方面取得成功。因此，创造力优化了可用资源的使用并增加了财富。然而，人类创造力的起源很糟糕，并且可以预测产生的思想成功的语义措施目前未知。在这里，我们通过使用基于Wordnet 3.1的49个语义测量来分析一个设计问题的数据集，并通过基于Wordnet 3.1的语义测量来证明语义相似性的发散，增加的信息内容和减少的多义半眼预测产生的想法的成功。客户的第一个反馈还提高了信息内容，并导致创造性问题解决中成功思想的分歧。这些结果通过识别与生产解决方案的成功相关的人类问题的现实世界流程来推进认知科学，并提供实时监测问题解决，学生培训和技能的工具。一个所选择的信息内容子集合IC S NCHEZ BATET和语义相似性LIN S NCHEZ BATET测量，这些措施既有统计强大和计算快速，都可以支持计算机辅助增强人类创造力的技术的发展，或者在赋予机器中的创造力的实施随着一般人工智能。 |
| Challenges and Limitations with the Metrics Measuring the Complexity of Code-Mixed Text Authors Vivek Srivastava, Mayank Singh 代码混音是多语种扬声器中经常通信风格，在那里它们在文本或语音的同一话语中与两种不同语言混合的单词和短语。识别和过滤代码混合文本是一个具有挑战性的任务，因为它的CO存在与单声道和嘈杂的文本。多年来，几个代码混合指标已广泛用于识别和验证代码混合文本质量。本文展示了代码混合度量的若干内在局限性，其中具有跨越各种实验的现有数据集中的示例。 |
| Subjective Bias in Abstractive Summarization Authors Lei Li, Wei Liu, Marina Litvak, Natalia Vanetik, Jiacheng Pei, Yinan Liu, Siya Qi 由于摘要的主观性，对于每份培训文件有多于一个黄金摘要，这是一个很好的做法。然而，许多现代大规模抽象摘要数据集只有一个到不同人类用不同风格写入的样本。将解读这种现象的影响。我们制定可能的多种表达式的差异，将与主观偏差相同的内容，并在抽象总结中检查该偏差的作用。在本文中，提出了一种提取主观样式的特征嵌入的轻量级和有效方法。在风格集群数据集上培训的摘要模型结果表明，有一些类型的样式，导致更好的收敛，抽象和泛化。可重复的代码和生成的摘要可在线获取。 |
| Label Mask for Multi-Label Text Classification Authors Rui Song, Xingbing Chen, Zelong Liu, Haining An, Zhiqi Zhang, Xiaoguang Wang, Hao Xu 多标签文本分类中的关键问题之一是如何利用标签之间的相关性。然而，直接模拟复杂和未知标签空间中标签之间的相关性是非常具有挑战性的。在本文中，我们提出了一个标签掩码多标签文本分类模型LM MTC，它受到语言模型的凝固问题的启发。 LM MTC能够通过预先培训语言模型的强大能力捕获标签之间的隐式关系。在此基础上，我们将不同的令牌分配给每个潜在的标签，并随机掩盖具有一定概率的令牌来构建基于标签的屏蔽语言模型MLM。我们一起训练MTC和MLM，进一步提高了模型的泛化能力。在多个数据集上大量实验证明了我们方法的有效性。 |
| Towards Financial Sentiment Analysis in a South African Landscape Authors Michelle Terblanche, Vukosi Marivate 作为自然语言处理的子领域的情感分析已在过去的十年中获得了更多的关注，使组织能够通过在线媒体监测更有效地管理他们的声誉。然而，许多司机影响声誉，这篇论文只关注财务绩效的方面，并探讨了南非背景中的财务情感分析方面的差距。结果表明，预训练的情绪分析仪对这项任务最少有效，其传统的基于词汇和机器学习方法最适合预测新闻文章的财务情绪。评估方法产生了84 94的精度。预测的情绪与股价相当相关，并强调了潜在使用情绪的使用。该研究的主要贡献正在更新现有的情感词典，以进行财务情感分析。由于使用的培训数据量有限，模型泛化不太可接受。未来的工作包括扩展数据集，以提高一般可用性，并为南非数据的开放源金融情感分析仪做出贡献。 |
| Recurrent Stacking of Layers in Neural Networks: An Application to Neural Machine Translation Authors Raj Dabre, Atsushi Fujita 在深度神经网络建模中，最常见的做法是堆叠多个复发，卷积或馈送前线，以获得高质量的连续空间表示，这又提高了网络的预测的质量。传统上，堆栈中的每个层具有其自身的参数，其导致模型参数的数量的显着增加。在本文中，我们建议在所有层中共享参数，从而导致循环堆叠的神经网络模型。我们报告了神经电机翻译NMT的广泛案例研究，我们将所提出的方法应用于基于编码器解码器的基于编码器的神经网络模型，即变压器模型，以及三个日语英文翻译数据集的实验。我们经验证明，尽管具有显着较少的参数，其常用堆叠单层6次的模型的翻译质量方法接近堆叠6层的模型的模型，其中每个层具有不同的参数。我们还探讨了经常性堆叠的限制，我们训练了极其深的NMT型号。本文还通过利用预先训练的参数和知识蒸馏来检查我们常规堆叠模型作为学生模型的实用性，并表明它可以补偿翻译质量的性能下降，即经常堆叠模型的直接训练带来的翻译质量。我们还展示了由于经常性堆叠而在已经减少的参数的顶部更快地解码的转移学习有助于更快地解码。最后，我们通过可视化使用循环堆叠层和模型的模型的分析来分析常规堆叠层的影响。 |
| SPBERT: Pre-training BERT on SPARQL Queries for End-to-end Question Answering over Knowledge Graphs Authors Hieu Tran, Long Phan, Truong Son Nguyen 我们的目标是创建前所未有的尝试，建立结束问题回答QA的知识图形KGS，它可以从自然语言问题构建SPARQL查询，并为其查询生成言语化答案。因此，我们介绍了Spbert，这是一种基于变压器的语言模型，预先接受了大规模的SparQL查询日志。通过加入屏蔽语言建模目标和Word结构目标，芬特可以通过自然语言和SPARQL查询语言学习通用表示，并使大多数单词顺序为SparQL等结构化语言至关重要。在本文中，我们研究了如何适应基于知识的QA Corpora的Spbert和编码器解码器架构。我们对两个辅助任务进行详尽的实验，包括SPARQL查询构建和答复言论生成。结果表明，斯普尔特获得了有希望的性能，实现了最新的态度，导致这些任务中的几个。 |
| Weakly Supervised Pre-Training for Multi-Hop Retriever Authors Yeon Seonwoo, Sang Woo Lee, Ji Hoon Kim, Jung Woo Ha, Alice Oh 在多跳QA中，回答复杂问题需要迭代文档检索，以寻找问题的缺失实体。此过程的主要步骤是子问题检测，文档检索用于子问题，并为最终文档检索生成新查询。但是，构建包含子问题的复杂问题的数据集及其相应文档需要昂贵的人类注释。为了解决这个问题，我们提出了一种新的方法，用于弱监督多跳猎手前培训，没有人力努力。我们的方法包括1个用于生成复杂问题的向量表示的预训练任务，2个可扩展的数据生成方法，其产生问题和子问题的嵌套结构，作为对预训练的薄弱监督，以及基于密集编码器的预训练模型结构。 。我们进行实验，以比较我们预先训练的猎犬的性能，并在结束到结束多跳QA以及文档检索时使用若干艺术模型的性能。实验结果表明，我们预训练的猎犬在有限的数据和计算资源上是有效的，也是强大的。 |
| Graph-based Joint Pandemic Concern and Relation Extraction on Twitter Authors Jingli Shi, Weihua Li, Sira Yongchareon, Yi Yang, Quan Bai 公众关注检测在大流行爆发之前或期间为当局提供危机管理的潜在指导。检测人们的担忧和关注在线社交媒体平台被广泛被认为是缓解公众恐慌并防止社会危机的有效方法。然而，从社交媒体中的大规模信息检测问题结果是一个重要的挑战，特别是当足够的手动标记的数据处于没有公共卫生紧急情况的情况下，例如Covid 19.在本文中，我们提出了一种新颖的结束结束深度学习模式，以识别人们的担忧和相应的关系基于图表卷积网络和与关注图集成的Bi方向长期内存。除了BERT EMBEDDINGS的顺序特征外，关注图模块可以提取推文的区域特征，不仅有利于涉及疑虑检测，还可以使我们的模型成为高噪声容忍。因此，我们的模型可以解决手动标记的数据不足的问题。我们通过使用手动标记的推文并自动标记推文来进行广泛的实验来评估所提出的模型。实验结果表明，我们的模型可以优于现实世界数据集的艺术模型状态。 |
| A Neural Edge-Editing Approach for Document-Level Relation Graph Extraction Authors Kohei Makino, Makoto Miwa, Yutaka Sasaki 在本文中，我们提出了一种新的边缘编辑方法来提取文档的关系信息。我们将文档中的关系视为这种方法中实体之间的关系图。通过编辑初始图的边缘来迭代地构造关系图，这可能是由另一系统或空图提取的图表。编辑边缘的方式是使用文档以紧密的第一方式对它们进行分类，并且时间构造的图信息每个边缘由掠夺变换器模型的文档上下文信息和图形卷积神经网络模型的图形上下文信息表示。我们评估了我们对任务的方法，以从材料科学文本中提取材料合成程序。实验结果表明了我们的方法在编辑我们的房屋规则的系统和空图表初始化的图表中的有效性。 |
| Bad Characters: Imperceptible NLP Attacks Authors Nicholas Boucher, Ilia Shumailov, Ross Anderson, Nicolas Papernot 几年的研究表明，在理论和实践中，机器学习系统容易受到对抗的例子。到目前为止，这种攻击主要有针对性的视觉模型，利用人类和机器感知之间的差距。虽然基于文本的模型也受到对抗例的攻击，但这种攻击努力保持语义含义和无法区分。在本文中，我们探讨了大量的对手示例，可用于在黑色框设置中攻击基于文本的模型，而不会对输入进行任何人类可察觉的视觉修改。我们使用编码人眼不可察觉的特定扰动，以操纵从神经计算机翻译管道到网上搜索引擎的广泛自然语言处理NLP系统的各种自然语言处理的产出。我们发现，通过单一的难以察觉的编码注射，代表一个看不见的性格，同级别，重新排序或删除攻击者可以显着降低易受攻击的模型的性能，并且在三个喷射中大多数可以在功能上损坏。除了由Facebook和IBM发布的开源模型之外，我们攻击目前部署的商业系统这种新颖的一系列攻击对许多语言处理系统具有重要威胁，攻击者可以在没有关于底层模型的任何假设的情况下以目标方式影响系统。我们得出结论，基于文本的NLP系统需要仔细的输入消毒，就像传统应用程序一样，鉴于此类系统现在正在迅速部署，需要建筑师和运营商的紧急注意。 |
| Continuity of Topic, Interaction, and Query: Learning to Quote in Online Conversations Authors Lingzhi Wang, Jing Li, Xingshan Zeng, Haisong Zhang, Kam Fai Wong 报价对于人际关系通信的成功解释和说服性至关重要。但是，在谈话中寻找报价的内容是对人类和机器的挑战。这项工作研究在线对话中的自动引用生成，并探索语言一致性如何影响报价是否适合给定的上下文。在这里，我们在潜在主题，与对话历史的交互方面捕获引文的上下文一致性，以及对查询转变的现有内容的一致性。此外，采用编码器解码器神经框架通过语言生成继续具有引号的上下文。在英文中的两个大型数据集上的实验结果表明，我们的引号模型优于艺术模型的状态。进一步的分析显示，主题，交互和查询一致性都有助于了解在线对话中的报价。 |
| PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction Authors Hengyi Zheng, Rui Wen, Xi Chen, Yifan Yang, Yunyan Zhang, Ziheng Zhang, Ningyu Zhang, Bin Qin, Ming Xu, Yefeng Zheng 联合提取实体和非结构化文本的关系是信息提取中的一个关键任务。最近的方法实现了相当大的性能，但仍然遭受了一些固有的局限性，例如关系预测的冗余，跨度的提取的概率不良，效率低。在本文中，我们将该任务分解为三个子任务，关系判断，实体提取和主题对象对象对象，然后基于潜在关系和全局对应PRGC提出联合关系三倍提取框架。具体地，我们设计一个组件来预测潜在关系，其将以下实体提取限制对预测关系子集而不是所有关系，然后应用了一个关系特定序列标记组件来处理主题和对象之间的重叠问题，最终是全局对应组件旨在将主题和物体对齐至三重复杂度。广泛的实验表明，PRGC在具有更高效率的公共基准上实现了最新性能的状态，并在重叠三元组的复杂场景中提供一致的性能增益。 |
| GEM: A General Evaluation Benchmark for Multimodal Tasks Authors Lin Su, Nan Duan, Edward Cui, Lei Ji, Chenfei Wu, Huaishao Luo, Yongfei Liu, Ming Zhong, Taroon Bharti, Arun Sacheti 在本文中，我们将GEM作为多式化任务的一般评估基准。不同于现有的数据集，如胶水，超级格，XGLue和Xtreme，主要关注自然语言任务，宝石是一个大规模的视觉语言基准，由Gem I组成的图像语言任务和Gem V用于视频语言任务。与现有的多模式数据集（如Mscoco和Flicker30K为图像语言任务，YouScook2和MSR VTT），用于视频语言任务，GEM不仅是涵盖图像语言任务和视频语言任务的最大的视觉语言数据集，而且还标记为多种语言。我们还为此基准提供了两个基线模型。我们将发布数据集，代码和基线模型，旨在推进多语言多式化研究的发展。 |
| LNN-EL: A Neuro-Symbolic Approach to Short-text Entity Linking Authors Hang Jiang, Sairam Gurajada, Qiuhao Lu, Sumit Neelam, Lucian Popa, Prithviraj Sen, Yunyao Li, Alexander Gray 连接EL的实体，通过将其与知识图中的实体链接到文本中消除提示的任务对于文本了解，问题应答或会话系统至关重要。在短文本中链接的实体，例如，单句或问题由于有限的背景而构成了特殊的挑战。虽然先前的方法使用启发式或黑匣子神经方法，但在这里，我们提出了一种神经象征性方法，即基于一个基于一个神经学习的阶梯的使用可解释规则来结合使用可解释规则的优势。尽管限制了使用规则，但LNN EL竞争地对抗SOTA黑匣子神经方法，具有可扩展性和可转移性的增加的好处。特别是，我们表明我们可以轻松混合人类专家给出的现有规则模板，具有多种类型的特征前瞻，伯特编码，框嵌入等，甚至是先前的EL方法产生的分数，从而改善了这些方法。例如，在LC Quad 1.0数据集上，我们在以前的SOTA上显示了超过4个F1分数增加。最后，我们表明，使用逻辑提供的感应偏差导致学习规则，即使没有微调，即使没有微调，也在保持高精度。 |
| Multi-Task Learning and Adapted Knowledge Models for Emotion-Cause Extraction Authors Elsbeth Turcan, Shuai Wang, Rishita Anubhai, Kasturi Bhattacharjee, Yaser Al Onaizan, Smaranda Muresan 检测在文本中表达的情绪是一种在自然语言处理中熟练的问题。然而，研究更精细的情感分析，例如导致情绪的阶段仍处于起步阶段。我们提出了解决情绪识别和情绪的解决方案以共同方式检测。考虑到常识知识在理解中发挥着重要作用，在隐含表达情感和这些情绪的原因中，我们提出了通过改进的知识模型结合了常识知识的新方法，使多项任务学习进行联合情绪分类和情感标签。在包括常识推理和多任务框架时，我们会显示对两个任务的性能改进。我们提供了彻底的分析，以获得模型性能的见解。 |
| An Information Retrieval Approach to Building Datasets for Hate Speech Detection Authors Md Mustafizur Rahman, Dinesh Balakrishnan, Dhiraj Murthy, Mucahid Kutlu, Matthew Lease 建立一个用于仇恨语音检测的基准数据集具有几个挑战。首先，因为仇恨言论相对较少，而且少于3个Twitter帖子是仇恨的CITEP Founta2018LARGE Tweets的随机抽样，捕获仇恨言论效率低下。常见做法是仅向含有已知的仇恨词语的推文，但这种风险产生了偏见的基准，只能部分地捕捉到兴趣的真实世界现象。第二个挑战是仇恨言论的定义往往是高度变化和主观的。具有多元化的仇恨讲话的注释者可能不仅可能不同意彼此的不同意，而且还努力符合指定的标签指南。我们的主要识别是仇恨语音的罕见和主体性类似于信息检索IR中的相关性。此连接表明，建立的用于创建IR测试集合的方法也可以有效地应用于为仇恨语音检测创建更好的基准数据集。首先，为了智能和有效地选择要注释的推文，我们应用了EM汇集和EM主动学习的已建立的IR技术。其次，为了提高注释的两种一致性和价值，我们应用EM任务分解引用Zhang Sigir14和EM Annotator Rationale Cite McDonnell16 HComp技术。使用上述技术，我们创建并共享新的基准数据集脚注，我们将在发布时发布数据集。对于讨论语音检测，比以前的数据集更广泛的覆盖范围。在这些更广泛形式的仇恨中测试时，我们还显示了现有检测模型的准确性的戏剧性下降。收集的注释理由不仅为标签决策提供了记录的支持，而且还为模拟中的双重监督和解释产生了令人兴奋的未来工作机会。 |
| On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech Authors Katrin Tomanek, Fran oise Beaufays, Julie Cattiau, Angad Chandorkar, Khe Chai Sim 虽然现有技术的自动语音识别ASR系统对典型语音的高精度，但它们遭受了无序的语音和其他非典型语音模式的显着性能下降。 ASR模型的个性化，通常应用的解决方案，通常在基于服务器的培训环境中在数据隐私，延迟模型更新时间和用于复制移动设备和服务器基础架构之间复制数据和模型的通信成本的训练环境中进行问题。在本文中，我们提出了一种在基于ASR个性化的设备上的方法，具有非常少量的扬声器特定数据。我们在各种各样的100名扬声器上测试我们的方法，其中包含言论无序，并找到71的中位相对词错误率改善，每位扬声器需要50个短语。当在语音控制的家庭自动化平台上进行测试时，在设备个性化模型上显示出81的中位数任务成功率，相比仅有40个未存在的模型。 |
| BitFit: Simple Parameter-efficient Fine-tuning for Transformer-based Masked Language-models Authors Elad Ben Zaken, Shauli Ravfogel, Yoav Goldberg 我们表明，对于中小型培训数据，微调只有偏见术语或预训练伯特模型的偏差条款的子集具有竞争力，并且有时优于整个模型的微调。对于较大的数据，偏差仅微调与其他稀疏微调方法具有竞争力。除了实用的实用程序之外，这些调查结果与理解常用流程的问题有关，他们支持这一假设，即FineTuning主要是关于暴露语言建模培训所引起的知识，而不是学习新的任务特定语言知识。 |
| Fusion of Embeddings Networks for Robust Combination of Text Dependent and Independent Speaker Recognition Authors Ruirui Li, Chelsea J. T. Ju, Zeya Chen, Hongda Mao, Oguz Elibol, Andreas Stolcke 通过基于他的语音输入暗示用户来识别用户，扬声器识别使得许多下游应用能够，例如个性化系统行为和加急购物结账。基于语音内容是否被约束，可以使用文本相关的TD和文本独立的Ti扬声器识别模型。我们希望通过集合系统结合两种类型的模型来制造更可靠的预测。然而，任何这样的组合方法必须强大地对不完全输入，即，当缺少TD或TI输入时。作为一个解决方案，我们提出了嵌入式网络Foenet架构的融合，结合了联合学习与神经关注。我们在语音助理输入的数据集上比较Foenet在具有四种竞争基线方法的基线，并表明它比基线和分数融合方法实现更高的精度，尤其是在存在不完整的输入中。 |
| Predicting gender of Brazilian names using deep learning Authors Rosana C. B. Rego, Ver nica M. L. Silva 通过名称预测性别不是一个简单的任务。在许多应用中，特别是在自然语言处理NLP字段中，可能需要此任务，主要是在考虑外国名称时。一些机器学习算法可以令人满意地执行预测。在本文中，我们检查并实施了前馈和经常性的深神经网络模型，例如MLP，RNN，GU，CNN和BILSTM，以通过名字对性别进行分类。巴西名称的数据集用于培训和评估模型。我们分析了准确性，召回，精度和困惑矩阵来测量模型性能。结果表明，性别预测可以从关注名称的特征提取策略进行，作为一组字符串。有些型号准确地预测了90多种病例中的性别。经常性模型克服了该二进制分类问题中的前馈模型。 |
| Synchronising speech segments with musical beats in Mandarin and English singing Authors Cong Zhang, Jian Zhu 由于型号的灵活性和可控性，产生培训的模型的综合歌唱声音具有许多优点。然而，由于关于段和节拍之间的时间关系的信息缺乏语音训练数据，因此合成的歌曲可能会在次时发出击败。因此，关于语音段和音乐节拍之间的时间关系的信息的可用性至关重要。目前的研究调查了歌唱数据中的段击败同步，并基于P中心和超声层次结构的语言学理论形成的假设。手动注释和分析了普通话语料库和专业歌唱数据的英语语料库。结果表明，音乐节拍的存在更依赖于持续时间而不是声学态度。然而，声音层次结构和P中心理论与节拍的位置高度相关。尽管表现出普通模式，但普通话和英语表现出跨语言变异。 |
| Investigating the Role of Negatives in Contrastive Representation Learning Authors Jordan T. Ash, Surbhi Goel, Akshay Krishnamurthy, Dipendra Misra 噪声对比学习是一种无监督的代表学习的流行技术。在这种方法中，通过减少到监督学习获得的表示，在这里给出语义相似度的概念，学习者试图将类似的正示例与随机否定示例的集合区分开来。现代对比学习管道的成功依赖于许多参数，例如数据增强的选择，负例的数量和批量大小，但是有限地了解这些参数如何交互和影响下游性能。我们专注于歧义其中一个参数的角色否定例子的数量。从理论上讲，我们展示了碰撞覆盖贸易的存在，表明，最佳否定例子应该与数据中的潜在概念的数量扩展。凭经验，我们仔细审查了NLP和视觉任务中的否定数量的作用。在NLP任务中，我们发现结果与我们的理论概括地同意，而我们的视觉实验是甚至对否定的数量不敏感的表现。我们对这种行为讨论合理的解释，并建议未来的方向，以更好地对齐理论和实践。 |
| Multi-mode Transformer Transducer with Stochastic Future Context Authors Kwangyoun Kim, Felix Wu, Prashant Sridhar, Kyu J. Han, Shinji Watanabe 自动语音识别ASR模型在将更多周围的语音信息呈现为上下文时造成更少的错误。不幸的是，获取更大的未来背景导致更高的延迟。速度和准确性之间存在不可避免的折扣。天真地，为了适应不同的延迟要求，人们必须存储多种型号并在约束下挑选最好的模型。相反，更理想的方法是具有单个模型，可以基于不同的约束动态调整其延迟，我们将其称为多模式ASR。多模式ASR模型可以在推理时履行各种延迟要求，当较大的延迟可接受时，模型可以处理更长的未来上下文，以实现更高的准确性，并且当延迟预算不灵活时，模型可能不太依赖于未来的上下文达到可靠的准确性。在追求多模式ASR中，我们提出了随机未来的上下文，这是一个简单的培训过程，可以在每次迭代中采样一个流配置。通过对Aishell 1和LibrisPeech数据集的广泛实验，我们表明，多模式ASR模型竞争对手（如果没有超过不同的潜在延迟预算培训的一组竞争流的流基地。 |
| Chinese Abs From Machine Translation |
扫一扫
1281
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
