【AI视野·今日NLP 自然语言处理论文速览 第五期】Thu, 10 Jun 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Thu, 10 Jun 2021
Totally 42 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

What Would a Teacher Do? Predicting Future Talk Moves Authors Ananya Ganesh, Martha Palmer, Katharina Kann 自然语言处理的最新进展NLP能够改变课堂学习如何进行的。结合当今技术的越来越多的技术集成，利用问题应答和对话处理技术的NLP系统可以作为课堂讨论的私人导师或参与者，以提高学生参与和学习。为了实现这一目标，我们使用学术效率谈话的课堂话语框架，以了解最佳学习体验的策略。在本文中，我们介绍了一个新的任务，称为未来的谈话移动预测FTMP，它包括预测下一个通话移动从APT的话语策略给出了与其相应的谈话移动。我们进一步引入了这个任务的神经网络模型，这使得多个基线通过大的边距。最后，我们将我们的模型S表比较了FTMP对人类性能，并在两者之间显示了几个相似之处。

Multi-hop Graph Convolutional Network with High-order Chebyshev Approximation for Text Reasoning Authors Shuoran Jiang, Qingcai Chen, Xin Liu, Baotian Hu, Lisai Zhang 图表卷积网络GCN在各种自然语言处理NLP任务中，长期和不连续的单词交互处理了NLP任务。但是，GCN中的现有单跳图形推理可能会错过一些重要的不连续依赖性。在这项研究中，我们用高阶动态Chebyshev近似HDGCN定义光谱图卷积网络，其通过将从直接和长期依赖性聚合到一个卷积层的熔化消息增强了多跳图形推理。为了缓解高阶Chebyshev近似平滑，还提出了一种基于多票的横向注意力，具有线性计算复杂性。对四个转膜和电感NLP任务的经验结果和消融研究验证了所提出的模型的功效。我们的源代码可用

Learning Multilingual Representation for Natural Language Understanding with Enhanced Cross-Lingual Supervision Authors Yinpeng Guo, Liangyou Li, Xin Jiang, Qun Liu 最近，预培训多语言语言模型表明了学习多语言代表的巨大潜力，这是自然语言处理的关键主题。先前作品通常使用单一混合注意力MA模块，以后的TLM Conceau和LoMple，2019，用于等效和同时参加舌内和交叉语言语境。在本文中，我们提出了一个名为腐败的网络，作为替换MA。该DA包括舌内的IA和交叉语言关注CA，分别模拟跨身和交叉舌监督。此外，我们在培训期间介绍了一种语言自适应RE加权策略，以进一步提高模型的性能。关于各种交叉语言自然语言的实验了解NLU任务表明，拟议的架构和学习策略显着提高了模型的交叉舌舌可转移性。

Case Studies on using Natural Language Processing Techniques in Customer Relationship Management Software Authors kr Ozan 如何将存储在客户关系管理CRM数据库中的文本语料库用于数据挖掘和分段，以便回答这个问题，我们继承了通常用于自然语言处理NLP文献的最新方法，例如Word Embeddings，深度学习文学，如经常性神经网络RNN。我们使用了CRM系统的文本笔记，该系统由2009年和2020年之间的互联网广告咨询机构的客户代表拍摄。我们通过使用相应的文本语料库培训了Word Embeddings，并显示了这些单词嵌入品不能直接用于数据挖掘，但也用于RNN架构，这些架构是具有长短期内存LSTM单元构建的深度学习框架，以实现更全面的分割目标。结果证明了CRM中的结构化文本数据可用于排出非常有价值的信息，并且在正确构建问题定义并方便地实现解决方案方法后，任何CRM都可以配备有用的NLP功能。

AUGVIC: Exploiting BiText Vicinity for Low-Resource NMT Authors Tasnim Mohiuddin, M Saiful Bari, Shafiq Joty 神经电机翻译NMT的成功主要取决于大BITEXT培训语料库的可用性。由于缺乏低资源语言对的大型语料，NMT系统往往表现出差的性能。额外的相关单晶体数据通常有助于，但获取它可能是非常昂贵的，特别是对于低资源语言。此外，BITEXT列车测试和单声道数据之间的域不匹配可能会降低性能。为了减轻此类问题，我们提出了一种用于低资源NMT的新型数据增强框架，该框架用于低资源NMT，该框架利用给定BITEXT的vicinal样本而不明确地使用任何额外的单声道数据。它可以使域BITEXT数据多样化与更精细的级别控制。通过对来自不同域的数据的四个低资源语言对的大量实验，我们已经表明，我们的方法与传统的后退转换相当，在域单统计数据中使用额外的额外转换。当我们将从奥普维克生成的合成并行数据与额外的单机数据组合起来时，我们实现了进一步的改进。我们表明奥普维奇有助于验证传统背部翻译中相关和遥远域单声道数据之间的差异。要了解Augvic的不同组件的贡献，我们执行深度框架分析。

A Comparative Study on Neural Architectures and Training Methods for Japanese Speech Recognition Authors Shigeki Karita, Yotaro Kubo, Michiel Adriaan Unico Bacchiani, Llion Jones 结束于终止E2E建模对于自动语音识别ASR是有利的，特别是对于日语，因为日语的基于词语不是琐碎的，并且E2E建模能够直接模拟字符序列。本文侧重于最新的E2E建模技术，并通过进行比较实验调查基于日本ASR的性能。分析并讨论了结果，以了解长期内存LSTM的相对优势，以及组合与连接人员时间分类，传感器和基于关注的损耗功能的相对优势。此外，该论文研究了最近训练技术的有效性，如数据增强分类，变分噪声注射和指数移动平均值。本文中的最佳配置达到了自发日本CSJ EVAL1，EVAL2和eval3任务的语料库的最佳技术的状态为4.1,3.2和3.5。由于圆形传感器的效率，该系统也被证明可以计算地有效。

Order-Agnostic Cross Entropy for Non-Autoregressive Machine Translation Authors Cunxiao Du, Zhaopeng Tu, Jing Jiang 我们提出了一个新的培训目标命名命令，用于完全非自动增加翻译NAT模型的无关频率跨熵oaxe。 Oaxe改善了标准的交叉熵损失，以改善词重新排序的效果，这是NAT中临界多层状问题的共同来源。具体地，Oaxe去除字令错误的惩罚，并根据模型预测和目标令牌之间的最佳对准来计算跨熵损失。由于日志损耗对无效引用非常敏感，因此我们利用跨熵初始化和丢失截断，以确保模型侧重于搜索空间的良好部分。关于主要的WMT基准的广泛实验表明，OXE大大提高了平移性能，为完全NAT模型设定了最新的艺术状态。进一步的分析表明，OXE通过减少令牌重复和增加预测信心来减轻多模问题。我们的代码，数据和培训的型号可供选择

Text-to-SQL in the Wild: A Naturally-Occurring Dataset Based on Stack Exchange Data Authors Moshe Hazoom, Vibhor Malik, Ben Bogin 仅用于培训和评估自然语言理解系统的目的收集包括对自然话语和逻辑形式的最有可用的语义解析数据集。因此，他们不包含任何自然发生的富有的丰富性和各种各样的异常话语，其中人类询问他们需要的数据或者很好奇。在这项工作中，我们释放SEDE，一个数据集，其中包含12,023对的话语和从堆栈交换网站上的真实用法收集的SQL查询。我们表明，这些对包含了各种现实世界挑战，这是迄今为止在任何其他语义解析数据集中都很少反映，提出了一种评估度量，基于更适合现实世界查询的部分查询条款的比较，并进行强大的实验基线，与其他常用数据集相比，在SEDE的性能之间显示出大的差距。

Crosslingual Embeddings are Essential in UNMT for Distant Languages: An English to IndoAryan Case Study Authors Tamali Banerjee, Rudra Murthy V, Pushpak Bhattacharyya 无监督的神经电机翻译联件的最新进展最大限度地减少了对密切相关的语言对的监督和无监督机器翻译性能之间的差距。然而，对于遥感语言对的情况非常不同。缺乏词汇重叠和低句法相似之处，如英语和印度雅利亚语言，导致现有的联管系统中的翻译质量差。在本文中，我们表明，使用交叉语言嵌入的UNMT模型的嵌入层初始化，显示出对随机初始化的嵌入方法的现有方法的显着改进。此外，与更新训练非静态期间更新嵌入层权重相比，静态嵌入冻结嵌入层权重。我们使用蒙面序列进行了序列质量和去噪AutoEncoder Dae OCHT接近三个遥远的语言对。建议的十字交叉嵌入初始化产生BLEU在英语印地文，英语孟加拉和英国古吉拉蒂的基线上获得多达十倍。我们的分析表明，交叉舌嵌入，方法之间的比较以及这些系统的改进范围的重要性。

Instantaneous Grammatical Error Correction with Shallow Aggressive Decoding Authors Xin Sun, Tao Ge, Furu Wei, Houfeng Wang 在本文中，我们提出了浅谈令人遗憾的解码，以提高变压器的瞬时语法纠错GEC的转换器的在线推理效率。 SAD优化GEC的在线推理效率通过两种创新1，它积极地解码尽可能多的令牌，而不是始终在每个步骤中仅解码一个令牌以改善计算并行2，它使用浅层解码器而不是具有平衡的传统变压器架构。编码器解码器深度以降低推理期间的计算成本。英语和中国GEC基准的实验表明，激进的解码可能会产生与贪婪解码相同的预测，但在线推理具有重要的加速。它与浅层解码器的组合可以在功能强大的变压器基线上提供更高的在线推理加速，而无需质量损失。我们的方法不仅允许单一模型实现最先进的ENGLL 14和72.9 F0.5在BEA 19测试集中的英语GEC基准66.4 F0.5中的最终测试集，具有近10倍的在线推理加速变压器大型模型，但也很容易适应其他语言。我们的代码可供选择

Psycholinguistic Tripartite Graph Network for Personality Detection Authors Tao Yang, Feifan Yang, Haolan Ouyang, Xiaojun Quan 来自在线职位的最近的大多数工作人格检测采用多种深度神经网络，以代表员额以数据驱动的方式构建预测模型，而不会利用可能揭示一个语言使用与他的心理特征之间的联系的心理语言知识。在本文中，我们提出了一个精神语言知识的三方图形网络，Trignet，由三方图网络和基于BERT的图形初始化器组成。图网络通过构建异构三方图来注入来自LIWC的结构性心理语言学知识，该计算机化仪器进行精神语言学分析。图表初始化程序用于为图形节点提供初始嵌入式。为了降低图表学习中的计算成本，我们进一步提出了一种新颖的流程图，它仅在三方图中传输相邻方之间的消息。从三方图中受益，Trignet可以从心理角度汇总发布信息，这是一种利用域知识的新方式。两个数据集的广泛实验表明，Trignet平均平均F1平均占现有的艺术模型状态3.47和2.10点。此外，与我们的设置中的原始GAT相比，流量GAT分别通过38和32减少了38和32的拖鞋和记忆度量。

Auto-tagging of Short Conversational Sentences using Natural Language Processing Methods Authors kr Ozan, D. Emre Ta ar 在这项研究中，我们的目标是找到一种用于自动标记特定于域的句子的方法。我们的培训数据包括从公司客户代表和网站访问者之间的聊天对话中提取的短会话句。我们手动将大约14,000个访问者输入标记为十个基本类别，后来将在基于变压器的语言模型中使用，以注意力机制为开发可能产生有意义的对话的聊天应用程序。我们考虑了三种不同的艺术模型状态，并报告了自动标记能力。我们通过来自变压器BERT模型的双向编码器表示实现了最佳性能。可以从我们的GitHub存储库中克隆这些实验中使用的模型的实现，并在没有大量努力的情况下测试了类似的自动标记问题。

Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding Authors Narjes Nikzad Khasmakhi, Mohammad Reza Feizi Derakhshi, Meysam Asgari Chenaghlu, Mohammad Ali Balafar, Ali Reza Feizi Derakhshi, Taymaz Rahkar Farshi, Majid Ramezani, Zoleikha Jahanbakhsh Nagadeh, Elnaz Zafarani Moattar, Mehrdad Ranjbar Khadivi 背景技术关键字提取是自然语言处理领域的流行研究主题。关键字是描述文档中最相关信息的术语。研究人员面临的主要问题是如何有效，准确地从文档中提取核心关键字。但是，以前的关键字提取方法已经利用了文本和图形功能，缺乏可以在最好的方法中正确学习和结合这些功能的模型。

Neural Supervised Domain Adaptation by Augmenting Pre-trained Models with Random Units Authors Sara Meftah, Nasredine Semmar, Youssef Tamaazousti, Hassane Essafi, Fatiha Sadat 由于其在许多任务中的高性能，神经转移学习TL正在成为自然语言处理NLP的无处不在的性能。值得注意的是，TL广泛用于神经结构域适应，以将宝贵知识从高资源转移到低资源域。在TL的标准微调方案中，模型最初预先在源域培训，随后在目标域上进行精细调整，因此，使用相同的架构训练源和目标域。在本文中，我们通过解释方法展示了这种计划，尽管其效率，遭受主要限制。实际上，尽管能够适应新的域，但预先训练的神经元与学习特定于目标域的某些模式的斗争。此外，尽管源极和目标域之间的高相关性，但我们在隐藏的负面转移中阐明了，这可能会减轻转移学习所带来的最终增益。为了解决这些问题，我们建议使用预先培训的模型来增强训练模型，该模型促进更好地适应的同时保持有价值的源知识。我们表明，我们的方法对来自新闻域的神经域适应的标准精细调谐方案，在四个NLP任务中，在四个NLP任务部分的语音标记，分组，命名实体识别和语料型标记中的一个数字媒体域中，对社交媒体域进行了重大改进。

Automatic Sexism Detection with Multilingual Transformer Models Authors Sch tz Mina, Boeck Jaqueline, Liakhovets Daria, Slijep evi Djordje, Kirchknopf Armin, Hecht Manuel, Bogensperger Johannes, Schlarb Sven, Schindler Alexander, Zeppelzauer Matthias 在过去几年中，性别歧视已成为社交网络的一个日益主要的问题。在Iberlef 2021的社交网络中的第一个共享任务存在于Iberlef 2021中，是自然语言处理领域的国际竞争，目的是通过应用机器学习方法自动识别社交媒体内容中的性别歧视。因此，性感检测被制定为粗略二进制分类问题，以及区分多种类型的性别歧视含量的细粒度分类任务，例如，占主导地位，陈规定型和象限化。本文介绍了AIT FHSTP团队在两项任务中存在的AIT2021基准的贡献。为了解决任务，我们应用了两个多语言变压器模型，一个基于多语言BERT和基于XLM R的一个。我们的方法使用两种不同的策略来使变压器调整到检测性别歧视内容的首先，无监督的预训练与额外的数据进行额外的数据，通过额外的和增强数据监督微调。对于这两项任务，我们最好的模型是XLM R，对于存在数据和附加数据集，在提供的数据集中的额外数据集和微调进行了无监督。二进制分类任务1的最佳运行实现了0.7752的宏F1得分，并且在多款分类任务2的基准测试中得分5th等级，我们的最佳提交评分6th等级，宏F1得分为0.5589。

DGA-Net Dynamic Gaussian Attention Network for Sentence Semantic Matching Authors Kun Zhang, Guangyi Lv, Meng Wang, Enhong Chen 句子语义匹配需要一个代理人来确定两个句子之间的语义关系，其中最近的最近进展已经通过推进学习技术和人类行为的启发。在所有这些方法中，注意机制通过有效地选择重要部件来发挥重要作用。然而，目前的注意方法以静态方式专注于所有重要部位，或者仅动态地选择一个重要的部分，这使得大的空间进一步改进。为此，本文设计了一种新型动态高斯关注网络DGA网，结合了当前静态和动态注意方法的优势。更具体地，我们首先利用预先培训的语言模型来编码输入句子并从全局角度构建语义表示。然后，我们开发动态高斯注意DGA，从详细的角度动态捕获重要的部分和相应的本地背景。最后，我们将全球信息和详细的本地信息组合在一起，全面且精确地决定句子的语义关系。两个普遍的句子语义匹配任务的广泛实验表明，我们所提出的DGA网络在提高注意机制的能力方面有效。

Fragmented and Valuable: Following Sentiment Changes in Food Tweets Authors Maija K le, Mat ss Rikters 我们分析了与拉脱维亚语言中的食物推文表达的气味，味觉和温度有关的情绪和频率。为了更好地了解食品关联的心理图中嗅觉，品味和温度的作用，我们看待这种类别的鲜美和健康，结果是互相排斥。通过分析与这些类别相关的词语的发生频率，我们发现整体味道的话语是鲜美的，而健康的类别相对较小。最后，我们使用了对时间动态的分析，看看我们是否可以在食物推文中反映的味道，味道和温度中的季节性或其他时间方面。了解食物的味道和温度的社会媒体内容的构成使我们能够进一步发展粮食文化季节性及其与温度的关系，从而以有限的表达嗅觉相关情绪，以及缺乏讨论食物健康的品味范式。

Unsupervised Automatic Speech Recognition: A Review Authors Hanan Aldarmaki, Asad Ullah, Nazar Zaki 可以训练自动语音识别ASR系统，以达到大量手动转录的语音，但是难以或昂贵的数据集来获得所有感兴趣的语言。在本文中，我们审查了研究文献，以确定可能导致完全无监督的模型和想法，包括语音信号的无监督分割，从语音段到文本的无监督映射，以及标称数量的标称数量的标称数量的标称数量的模型。该研究的目的是确定可以单独从语音数据中学到的内容的局限性，并了解语音识别的最低要求。识别这些限制将有助于优化低资源语言的ASR开发的资源和努力。

DravidianMultiModality: A Dataset for Multi-modal Sentiment Analysis in Tamil and Malayalam Authors Bharathi Raja Chakravarthi, Jishnu Parameswaran P.K, Premjith B, K.P Soman, Rahul Ponnusamy, Prasanna Kumar Kumaresan, Kingston Pal Thamburaj, John P. McCrae 人类的通信本质上是多模式和异步的。分析人类情感和情绪是一种人工智能的新兴领域。我们在社交媒体上以关于产品和其他主题的社交媒体的本地语言中的多模语越来越多的多模式内容。但是，在资源的Dravidian语言下没有许多多峰资源。我们的研究旨在为下资助的Tamil和Malayalam语言创建多模式情绪分析数据集。首先，我们下载了来自YouTube的产品或电影审查视频，用于泰米尔和Malayalam。接下来，我们在注释器的帮助下创建了视频的标题。然后我们将视频标记为情绪，并使用FLEISS Kappa验证了互连协议。这是志愿者注释器的第一个用于泰米尔和Malayalam的多式联法情绪分析数据集。

UniKeyphrase: A Unified Extraction and Generation Framework for Keyphrase Prediction Authors Huanqin Wu, Wei Liu, Lei Li, Dan Nie, Tao Chen, Feng Zhang, Di Wang Keyphrase预测KP任务旨在预测可以总结给定文档的主要思想的几个关键字。主流KP方法可以分为纯粹的生成方法和集成模型，具有提取和产生。但是，这些方法忽略关键杂志之间的多样性，或者仅略微捕捉到跨无助的关系。在本文中，我们提出了一种新颖的终端学习框架，联合学习才能提取和生成关键字。在unikeyphrase中，提出了分别在模型结构和培训过程视图中充分利用提取和生成之间的潜在语义关系的堆叠关系层和单词约束。 KP基准测试的实验表明，我们的联合方法优于大幅度的主流方法。

Joint System-Wise Optimization for Pipeline Goal-Oriented Dialog System Authors Zichuan Lin, Jing Huang, Bowen Zhou, Xiaodong He, Tengyu Ma 最近的工作Takanobu等人，2020年提出了对对话系统的系统明智的评估，并发现各个组件的改进，例如，在现有工作中的政策可能不一定为系统明智的评估中的管道系统带来好处。为了提高系统明智的性能，在本文中，我们提出了新的联合系统，为管道对话系统提供了明智的优化技术。首先，我们提出了一种新的数据增强方法，可以自动化NLU培训的标签过程。其次，我们提出了一种新的随机策略参数化，具有泊松分布，可以更好地探索并提供构成策略梯度的原则方法。第三，我们提出了奖励奖金来帮助政策探索成功的对话框。我们的方法优于Takanobu等人的竞争性管道系统。 2020由12个成功率的大幅度在自动系统方面的评估和16个成功率在人体评估中的标准多域基准数据集多发性2.1中，也优于最近的最新状态，从DSTC9开始训练模型。

RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer Authors Xingshan Zeng, Liangyou Li, Qun Liu 结束于结束同时语言翻译SST，它直接将语言转化为另一种语言的文本实时，在许多情况下都很有用，但尚未完全调查。在这项工作中，我们提出了Realtrans，结束了SST的结束模型。为了弥合语音和文本之间的模态差距，RealTrans逐渐向下倒置输入语音，其中有用于声学建模的交错卷积和单向变压器层的输入语音，然后用加权收缩操作和语义编码器将语音特征映射到文本空间中。此外，为了提高同时情景中的模型性能，我们提出了一个空白罚款，以提高缩小质量和等待k级别策略，以允许在解码期间划分局部重新登记。公共和广泛使用的数据集的实验表明，具有等待k的Realtrans与等待k级别策略以前的终端模型以及不同延迟设置的级联模型。

Probing Multilingual Language Models for Discourse Authors Murathan Kurfal , Robert stling 预训练的多语言语言模型已成为多语言自然语言处理的重要构建块。在本文中，我们调查了一系列这些模型，以了解他们在跨语言转移话语级别知识的程度。这是在更广泛的话语水平任务上进行系统评估，而不是先前已组装。我们发现，XLM Roberta系列的模型一直显示出最佳性能，同时是良好的单晶模型，在零拍摄设置中相对较少地降级。我们的结果表明，模型蒸馏可能会损害交叉曲线转移的句子表示的能力，而最多的语言不相似性具有适度的效果。我们希望我们的测试套件涵盖了10个不同家庭共有22种语言的5个任务，将作为在句子级别和超出句子水平的多语言性能的有用评估平台。

MICE: A Crosslinguistic Emotion Corpus in Malay, Indonesian, Chinese and English Authors Ng Bee Chin, Yosephine Susanto, Erik Cambria 小鼠是目前正在工作进展的四种语言的情感词语的语料库。本研究有两节，我的情绪词词和第二部分情绪词调查。在第1部分中，将描述如何为四种语言中的每一种剔除情绪数据的方法，并且将呈现非常初步的数据。总的来说，我们在马来，印度尼西亚6,657名，3,347名普通话中的3,657名和英语中的3,347人确定了3,750个情感表达。我们目前正在评估和逐步检查语料库，并对这些情感表达的分布进行进一步分析。第二部分情感词调查涉及一个在线语言调查，这些调查收集了发言人如何将情绪词典分配到基本情感类别，价值和强度的评级以及所有受访者的传记信息。

Catchphrase: Automatic Detection of Cultural References Authors Nir Sweed, Dafna Shahaf Snowclone是可定制的短语模板，可以在多个即时识别的变体中实现。例如，新的橙色是新的黑色，40是新的30。积雪屏幕广泛用于社交媒体。在本文中，我们研究源自流行文化的雪松引用我们的目标是自动检测文本中的文化参考。我们介绍了一套新的，公开可用的流行文化报价及其相应的斯诺克朗使用商品和培训模型。我们发布了CoverPhrase的代码，Internet浏览器插件，以实时自动检测和标记引用，并通过用户学习检查其性能。除了协助人们更好地理解文化参考文献，我们希望检测雪雪缆线可以补充措施，并帮助解决社会科学的长期问题，了解信息传播的动态。

Making Better Use of Bilingual Information for Cross-Lingual AMR Parsing Authors Yitao Cai, Zhe Lin, Xiaojun Wan 摘要意义代表AMR是代表自然语言的语义的根的，标记的，非循环图。作为以前的作品展示，虽然AMR首先为英语设计，但它也可以代表其他语言的语义。但是，他们发现他们预测的AMR图中的概念较小。我们认为概念的错误规定是由于英语代币和AMR概念之间的高相关性。在这项工作中，我们介绍双语输入，即翻译的文本以及非英语文本，以便启用模型来预测更准确的概念。此外，我们还介绍了辅助任务，要求解码器同时预测英语序列。辅助任务可以帮助解码器理解相应的英语代币究竟是什么。我们建议的十字韵均衡AMR解析器超过了先前的艺术解析器的状态，在Spatch F1分数上的10.6点。消融研究还展示了我们提出的模块的功效。

Sentence Embeddings using Supervised Contrastive Learning Authors Danqi Liao 句子Embeddings编码固定密集向量中的句子，并在各种NLP任务和系统中发挥了重要作用。建立句子嵌入的方法包括无监督的学习，如快速思想和近代的监督学习。随着普雷斯的NLP模型的成功，最近的研究表明，SNLI和多NLI数据上的精细调整佩特伯特创造了艺术句嵌入的状态，优先于各种评估基准上的先前句子嵌入方法。在本文中，我们提出了一种通过受到监督对比学习来构建句子嵌入的新方法。具体地说，我们的方法精细调整了SNLI数据上的预读伯爵，包括监督的基调损失和监督对比损失。与基线相比，只有使用类似于现有技术SBERT的当前状态的监督交叉熵损失进行微调，我们的监督对比方法平均地改善了2.8的语义文本相似性STS基准和1.05平均对各种句子转移任务。

On Sample Based Explanation Methods for NLP:Efficiency, Faithfulness, and Semantic Evaluation Authors Wei Zhang, Ziming Huang, Yada Zhu, Guangnan Ye, Xiaodong Cui, Fan Zhang 在最近的自然语言处理的进步中，现有技术和数据集的状态通常很广泛，这挑战了基于样本的解释方法在许多方面的应用，例如解释可解释性，效率和忠诚。在这项工作中，我们首次可以通过允许任意文本序列作为解释单元来提高解释的可解释性。在此之上，我们实施了一个具有模型忠诚度保证的黑森林自由方法。最后，为了将我们的方法与其他方法进行比较，我们提出了一种基于语义的评估度量，可以与人类判断的解释可以更好地对准，而不是广泛采用的诊断或重新培训措施。多个真实数据集的经验结果证明了所提出的方法S优势性能，以对语义评估的影响功能或Trakin等流行解释技术。

A Review of Human Evaluation for Style Transfer Authors Eleftheria Briakou, Sweta Agrawal, Ke Zhang, Joel Tetreault, Marine Carpuat 本文对三个主要评估方面转移，意义保存和流利的三个主要评估方面，综述了97种样式转移文件中描述的人力评估实践。原则上，人类评估者的评估应该是最可靠的。然而，在风格转移论文中，我们发现人类评估的协议通常不均匀，而不是标准化，这妨碍了对该领域的研究的再现性，并进展到更好的人类和自动评估方法。

FastSeq: Make Sequence Generation Faster Authors Yu Yan, Fei Hu, Jiusheng Chen, Nikhil Bhendawade, Ting Ye, Yeyun Gong, Nan Duan, Desheng Cui, Bingyu Chi, Ruifei Zhang 基于变压器的模型对自然语言生成产生了巨大的影响。然而，推理速度是由于自动回归解码过程中涉及的大型模型大小和密集计算，因此推断速度是瓶颈。我们开发FastSeq框架以加速序列生成而无需精确损失。所提出的优化技术包括注意高速缓存优化，一种用于检测重复的n克的有效算法，以及具有平行I O的异步产生流水线。这些优化足以适用于基于变压器的模型，例如，T5，GPT2和Unilm。我们的基准导致一组广泛使用和多样化的模型展示了4 9倍推理速度增益。此外，FastSeq易于使用简单的一行代码更改。源代码可用

Data Expansion using Back Translation and Paraphrasing for Hate Speech Detection Authors Djamila Romaissa Beddiar, Md Saroar Jahan, Mourad Oussalah 通过用户生成的社交媒体平台增殖，建立自动识别毒性和滥用内容的机制成为监管机构，研究人员和社会的主要关注点。保持言论自由与尊重尊重之间的平衡是社交媒体平台监管机构的主要关注点。虽然，使用深度学习方法自动检测冒犯性内容似乎提供了令人鼓舞的结果，但培训基于深度学习的模型需要大量的高质量标记数据，通常丢失。在这方面，我们在本文中展示了一种新的基于深度学习的方法，融合了背部翻译方法，以及用于数据增强的释义技术。我们的管道调查了基于仇恨语音分类的基于嵌入的不同词。后退技术依赖于在大语料库上培训的编码器解码器架构，并且主要用于机器翻译。此外，释义可以利用变压器模型和专家的混合来产生多样化的释义。最后，将LSTM和CNN进行比较，以寻求增强的分类结果。我们在五个公开可用的数据集中评估我们的提议即，Askfm语料库，Formspring DataSet，Warner和Weeem DataSet，Olid和Wikipedia有毒评论数据集。与某些相关的艺术态度相比，该提案的表现展示了我们提案的有效性和健全性。

Sequential End-to-End Intent and Slot Label Classification and Localization Authors Yiran Cao, Nihal Potdar, Anderson R. Avila 人机互动HCI受口头对话系统的延迟响应显着影响。因此，最终终止于E2E口语语言，了解SLU解决方案已被提出减少延迟。这种方法允许直接从语音信号提取语义信息，从而绕过来自自动语音识别ASR系统的转录器的需要。在本文中，我们提出了一种用于流式场景的紧凑型E2E SLU架构，其中语音信号的大块连续处理以预测意图和槽值。我们的模型基于3D卷积神经网络3D CNN和单向长短期内存LSTM。我们比较两个对齐损耗的性能，即连接主义时间分类CTC方法及其调整版，即连接员时间定位CTL。后者不仅执行了分类，还执行顺序音频事件的本地化。在流利的语音命令数据集中评估所提出的解决方案，结果表明我们的模型能力处理传入语音信号，为单个标签分类上的CTL和98.78达到98.97的精度，高达95.69的CTC和95.28 CTL在两个标签预测上。

Comprehension Based Question Answering using Bloom's Taxonomy Authors Pritish Sahu, Michael Cogswell, Sara Rutherford Quach, Ajay Divakaran 目前的预培训语言模型有很多知识，而是更有限的使用该知识。盛开的分类学有助于教育者教孩子如何通过对理解技能进行分类，因此我们使用它来分析和改进大型预培训语言模型的理解技能。我们的实验专注于零射击问题，使用分类法提供近端背景，通过与这些问题相关，帮助模型回答问题。我们以这种方式显示定位背景，提高了4个流行的常识问题答案数据集的性能。

Compacter: Efficient Low-Rank Hypercomplex Adapter Layers Authors Rabeeh Karimi Mahabadi, James Henderson, Sebastian Ruder 通过微调将大规模预训练的语言模型适应下游任务是实现NLP基准测试的最新性能状态的标准方法。但是，微调百万或数十亿个参数的所有重量模型都是样本效率低，在低资源设置中不稳定，并且浪费，因为它需要为每个任务存储单独的模型副本。最近的工作已经开发了参数有效的微调方法，但这些方法仍然需要相对大量的参数或低于标准的微调。在这项工作中，我们提出了一种组织，一种用于精细调整大规模语言模型的方法，在任务性能和比率参数之间具有更好的折扣性能而不是比上班的衡量参数。 Compacter通过构建适配器，低等级优化和参数化超复制乘法层的想法来实现这一目标。

Predicting the Success of Domain Adaptation in Text Similarity Authors Nicolai Pogrebnyakov, Shohreh Shaghaghian 传输学习方法，特别是域适应，帮助利用一个域中的标记数据来提高另一个域中某项任务的性能。但是，尚不清楚哪些因素影响域适应的成功。本文在文本相似性中的几个候选者中，适应成功和选择最合适的源域。我们使用描述性域信息和跨域相似度量作为预测功能。虽然主要是积极的，结果也指向一些适应成功难以预测的域名。

On the Lack of Robust Interpretability of Neural Text Classifiers Authors Muhammad Bilal Zafar, Michele Donini, Dylan Slack, C dric Archambeau, Sanjiv Das, Krishnaram Kenthapadi 随着神经语言模型的复杂性，从业者转向了解这些模型预测的方法。模型解释性最良好采用的方法之一是基于特征的可解释性，即，在对模型预测的影响方面排名。几项现有研究专注于评估基于特征的可解释性方法的保真度，即，测量丢弃丢弃顶部排名的功能对模型输出的影响。然而，在量化解释的稳健性方面已经进行了相对较少的工作。在这项工作中，我们使用两个随机化测试来评估神经文本分类器的解释的稳健性，具体地，基于预磨削的变压器编码器，使用两个随机化测试。第一个比较两个模型的解释，除了初始化之外。第二种测量解释是否与具有随机参数的培训参数和模型的模型之间不同。这两个测试都表现出与预期行为的令人惊讶的偏差，提高关于从业者可以从解释中吸取的见解程度的问题。

Neural Extractive Search Authors Shauli Ravfogel, Hillel Taub Tabib, Yoav Goldberg 域专家通常需要从大型公司中提取结构化信息。我们提倡被称为提取搜索的搜索范例，其中富有捕获槽的搜索查询，以允许这种快速提取。这种提取搜索系统可以围绕句法结构构建，从而高精度，召回结果。我们展示了如何使用神经检索和对齐来改进召回。本文的目标是简明地介绍了提取搜索范例，并展示了用于提取搜索的原型神经检索系统及其益处和潜力。我们的原型提供URL

Bayesian Attention Belief Networks Authors Shujian Zhang, Xinjie Fan, Bo Chen, Mingyuan Zhou 基于关注的神经网络已经实现了最新的态度，导致各种任务。大多数此类模型使用确定性注意，同时由于优化困难或复杂的模型设计而探索随机关注。本文介绍了贝叶斯的注意力网络，通过使用伽马分布的层次结构建立无通量的注意重量，通过用确定性向上随机向下的结构堆叠Weibull分布来构建解码器网络来构建解码器网络，以近似于后部。由此产生的自动编码网络可以以可分解的方式以可分解的方式进行优化。将任何模型转换为具有确定性关注的任何模型，包括预先磨损的模型，以提出贝叶斯人的注意网络。在各种语言理解任务中，我们表明我们的方法在准确性，不确定估计，跨域横跨领域的不确定性估计，泛化和对抗性攻击的鲁棒性方面优于确定性的关注和状态。我们进一步证明了我们对神经机翻译和视觉问题的方法的一般适用性，表明将我们的方法纳入各种关注相关任务的巨大潜力。

Energy-Based Models for Code Generation under Compilability Constraints Authors Tomasz Korbak, Hady Elsahar, Marc Dymetman, Germ n Kruszewski 神经语言模型可以在源代码上成功培训，导致代码完成等应用程序。然而，他们的多功能自回归自我监督目标忽略了存在于诸如句法正确或兼容性之类的数据中存在的重要全局序列级别功能。在这项工作中，我们构成了学习的问题，以产生可编译代码作为约束满意度。我们定义基于能量的模型EBM，其代表预训练的生成模型，其具有仅产生可编译序列的强制约束。然后，我们使用KL自适应分配策略梯度算法Khalifa等，2021，培训近似EBM的生成模型。我们进行实验表明我们所提出的方法能够改善兼容性率而不牺牲所产生样本的多样性和复杂性。

Tiplines to Combat Misinformation on Encrypted Platforms: A Case Study of the 2019 Indian Election on WhatsApp Authors Ashkan Kazemi, Kiran Garimella, Gautam Kishore Shahi, Devin Gaffney, Scott A. Hale WhatsApp是一个全球超过20亿用户使用的受欢迎聊天应用程序。但是，由于结束到结束加密，目前没有简单的方法可以在ScaleSapp上检查内容。在本文中，我们分析了在WhatsApp上的人群源系统的有用性，用户可以提交包含他们想要检查的消息的提示。我们将发送到2019年印度全国选举中的WhatsApp Tipline运行的提示与在同一时期内的WhatsApp和其他社交媒体平台上的大型公共集团传播的信息。我们发现，Tiplines是一个非常有用的镜头，进入WhatsApp对话的大部分消息和图像发送到Tipline的图像和图像与在公共WhatsApp组和其他社交媒体上共享的内容。我们的分析还表明，Tiplines覆盖了最流行的内容，并且在出现大公共WhatsApp群体之前，大多数此类内容通常是分享到翻倍。总的来说，分析表明，Tiplines可以是发现内容以进行事实检查的有效源。

VALUE: A Multi-Task Benchmark for Video-and-Language Understanding Evaluation Authors Linjie Li, Jie Lei, Zhe Gan, Licheng Yu, Yen Chun Chen, Rohit Pillai, Yu Cheng, Luowei Zhou, Xin Eric Wang, William Yang Wang, Tamara Lee Berg, Mohit Bansal, Jingjing Liu, Lijuan Wang, Zicheng Liu 大多数现有的视频和语言Vidl研究侧重于单个数据集或单个任务的多个数据集。实际上，预计真正有用的VIDL系统将很容易地概括为不同的任务，域和数据集。为了促进这些系统的评估，我们引入了视频和语言理解评估值基准，这是11个vidl数据集的组合，超过3个流行的任务我文本到视频检索II视频问题应答和III视频字幕。价值基准旨在涵盖广泛的视频流域，视频长度，数据卷和任务难度级别。同时只关注单个频道视频，而不是仅关注单个频道视频，促使利用视频帧及其关联的字幕的信息以及跨多个任务共享知识的模型来促进利用信息的模型。我们评估各种基线方法，无需大规模VIDL预培训，并系统地研究视频输入通道，融合方法和不同视频表示的影响。我们还研究了任务之间的可转换性，并在不同的设置下进行多项任务学习。我们最佳模型与人类性能之间的重大差距来呼吁进行高级VIDL模型的未来研究。价值可用

PAM: Understanding Product Images in Cross Product Category Attribute Extraction Authors Rongmei Lin, Xiang He, Jie Feng, Nasser Zalmout, Yan Liang, Li Xiong, Xin Luna Dong 了解产品属性在提高客户的在线购物体验方面发挥着重要作用，并作为构建产品知识图形的组成部分。大多数现有方法专注于文本描述的属性提取或利用来自产品图像（如形状和颜色）的可视信息。与先前作品中考虑的输入相比，产品形象实际上包含更多信息，由丰富的单词和视觉线索混合表示，具有仔细设计给客户留下深刻印象的布局。这项工作提出了一种更具包容性框架，它充分利用了这些不同的属性提取模式。灵感来自最近的作品在视觉问题的回答中，我们使用基于变压器的序列来序列模型，以融合产品文本的融合表示，光学字符识别OCR令牌和在产品图像中检测到的可视对象。该框架通过培训解码器来预测产品类别和属性值以及在产品类别上的输出，进一步扩展了具有单个模型的多个产品类别跨多个产品类别的属性值的功能。该模型提供了在电子商务平台上可取的统一属性提取解决方案，该平台提供具有多种产品属性的产品类别。我们在两个产品属性上进行了评估模型，一个具有许多可能的值，一个具有一小一小一组可能的值，超过14个产品类别，并且发现该模型可以在召回的召回和10个增益与现有方法相比，F1分数可以实现15个增益。仅使用文本功能。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com