【AI视野·今日NLP 自然语言处理论文速览 第十二期】Tue, 22 Jun 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Tue, 22 Jun 2021
Totally 39 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

A Discriminative Entity-Aware Language Model for Virtual Assistants Authors Mandana Saebi, Ernest Pusateri, Aaksha Meghawat, Christophe Van Gysel 高品质的自动语音识别ASR对于虚拟助手VAS至关重要。但是，ASR通常在包含命名实体的VA请求上表现不佳。在这项工作中，我们从观察开始，所以命名实体的许多ASR错误都与真实世界知识不一致。我们扩展了先前的鉴别性N克语言建模方法，以利用捕获实体类型实体和实体实体关系的特征，从知识图KG融入真实世界知识。我们通过高效的晶格救援过程应用我们的模型，在一些覆盖覆盖不太流行的实体的一些合成测试集中实现了超过25的相对句子错误率缩减，并在均匀采样的VA测试集上降低了劣化。

Iterative Network Pruning with Uncertainty Regularization for Lifelong Sentiment Classification Authors Binzong Geng, Min Yang, Fajie Yuan, Shupeng Wang, Xiang Ao, Ruifeng Xu Lifelong学习能力对于情绪分类器来说至关重要，以处理网上的持续注释信息流。然而，对于深神经网络而言，执行终身学习是不可避免地训练逐步训练的灾难性忘记或干扰。在本文中，我们提出了一种具有终身情绪分类IPRL的不确定性正则化方法的新颖迭代网络修剪，其利用网络修剪和重量正则化的原理。通过以迭代方式执行具有不确定性正则化的网络修剪，IPRL可以适应单个BERT模型，以便在避免灾难性的遗忘和干扰时使用来自多个域的连续到达数据。具体而言，我们利用迭代修剪方法去除大型深网络中的冗余参数，以便可以采用释放空间来学习新的任务，解决灾难性的遗忘问题。在学习新任务时，我们还使用基于贝叶斯在线学习框架的不确定性正常化来限制BERT中的旧任务权重的更新，这使得能够正向后传输，即学习新任务，即学习新任务，即学习新任务可以提高过去的性能保护旧知识的任务丢失。此外，我们提出了与每层BERT的特定于一层特定的低维剩余功能，这使得IPRL在学习新任务时不易丢失在基本BERT网络中保存的知识。关于16个受欢迎的评论Corpora的广泛实验表明，所提出的IPRLS方法SIG很大地优于终身情绪分类的强大基线。为了再现性，我们提交代码和数据

Self-Calibrating Neural-Probabilistic Model for Authorship Verification Under Covariate Shift Authors Benedikt Boenninghoff, Dorothea Kolossa, Robert M. Nickel 我们正在为Autheration验证AV主题变异性和错误识别解决两个基本问题。两个争议文本主题的变化是大多数AV系统错误的主要原因。另外，观察到，由深学习AV机制产生的底层概率估计不符合各个训练数据中的实际情况。因此，概率估计差异很差。我们正在从Pan 2020扩展我们的框架，以包括贝叶斯因子评分BFS和一个不确定性适应层UAL来解决这两个问题。 2020 21 PAN AV共享任务数据的实验表明，该方法显着降低了局部变化的敏感性，并显着提高了系统的校准。

Explicit Interaction Network for Aspect Sentiment Triplet Extraction Authors Peiyi Wang, Lianzhe Huang, Tianyu Liu, Damai Dai, Runxin Xu, Houfeng Wang, Baobao Chang, Zhifang Sui 方面情绪三重态提取Aste旨在识别目标，他们的情感极性和意见解释句子的情绪。 Aste可以自然地分为3个原子子组织，即目标检测，意见检测和情绪分类。我们认为目标意见对组合组合，组成特征提取，以及子任务之间的互动将是成功的关键。然而，由于缺陷的子任务制定，子最优特征表示或缺少子任务相互作用，因此可能在一到一个情况下失败，或者导致的不存在情绪三元组。在本文中，我们将Aste划分为目标意见联合检测和情绪分类子任务，这与人类认知符合，并相应地提出序列编码器和表编码器。表编码器提取令牌对等级的情绪，从而可以容易地捕获目标和意见之间的组成特征。要在子任务之间建立显式交互，我们利用表格表示来指导序列编码，并将序列功能注入到表编码器中。实验表明，我们的模型优于六个受欢迎的ASTE数据集的现有技术的状态。

Learning to Rank Question Answer Pairs with Bilateral Contrastive Data Augmentation Authors Yang Deng, Wenxuan Zhang, Wai Lam 在这项工作中，我们提出了一种新颖且易于应用数据增强策略，即双边一代大，具有对比的培训目标，用于提高具有现有标记数据的排名问题答案对的性能。具体而言，我们与具有两个预训练的生成模型的原始负QA对形成伪阳QA对相比，一个用于问题的一个问题，另一个用于答案生成，其在原始数据集中的有限正QA对上进行微调。使用增强数据集，我们设计了对比较的培训目标，用于学习追逐问题答案对。三个基准数据集的实验结果，即TREC QA，Wikiqa和Antique，表明我们的方法通过充分利用现有的标记数据来显着提高排名模型的性能，并且可以轻松应用于不同的排名模型。

Extractive approach for text summarisation using graphs Authors Kastriot Kadriu, Milenko Obradovic 自然语言处理是一种重要的学科，目的是通过其数字代表理解文本，这是由于我们写作和说话的多样化，往往不够准确。我们的论文探讨了不同的图形相关算法，可以使用提取方法解决文本摘要问题。我们考虑两个度假句重叠和编辑测量句子相似度的距离。

STEP-EZ: Syntax Tree guided semantic ExPlanation for Explainable Zero-shot modeling of clinical depression symptoms from text Authors Nawshad Farruque, Randy Goebel, Osmar Zaiane, Sudhakar Sivapalan 我们专注于探索零射击学习ZSL的各种方法及其对挑战性的最具挑战性但重要的监督学习任务，令人挑战的训练数据稀缺，即抑郁症状检测来自文本的DSD。我们从练习临床医生开始综合综合我们的ZSL建模和抑郁症状样本和抑郁症症状线索策划过程。我们接下来分析了各种状态的ZSL模型的准确性及其任务的潜在增强功能。此外，我们绘制用于使用ZSL的基于分层文本的解释机制的框架，我们调用，语法树引导语义解释步骤。最后，我们总结了我们得出结论，我们可以使用ZSL模型来实现合理的准确性和解释性，通过提出的解释性指数EI来测量。这项工作是我们的知识，在准确性和解释性方面，首先要彻底探索ZSL模型对DSD任务的疗效的效果。

Conversational Agents in Software Engineering: Survey, Taxonomy and Challenges Authors Quim Motger, Xavier Franch, Jordi Marco 通过专门的科学和工业研究，在人力计算机互动领域使用自然语言界面正在进行激烈的研究。该领域的最新贡献，包括经常性神经网络等深度学习方法，上下文意识策略和用户中心设计方法的潜力，使社区的注意力引起了基于软件的对话系统，通常称为会话代理或聊天。尽管如此，并鉴于该领域的新颖性，一般上下文独立于当前研究涉及所有研究视角的会话代理的当前研究状态。本文通过了这种背景，通过对二次研究的系统文献综述报告了对会话试剂的当前研究状态的调查。进行的研究旨在通过清楚地介绍近期文献在各种领域，研究重点和背景下发表的汇总知识来发展详尽的观点。因此，本研究提出了对会话代理领域所涉及的不同维度的整体分类，这预计将帮助研究人员并为自然语言界面领域的未来研究奠定基础。

Ad Text Classification with Transformer-Based Natural Language Processing Methods Authors Umut zdil, B ra Arslan, D. Emre Ta ar, G k e Polat, kr Ozan 在本研究中，提出了一种基于NLP的基于NLP的方法，为在线广告平台上创建的广告文本的扇区天际分类。我们的数据集包括来自12个不同部门的大约21,000个标记的广告文本。在该研究中，使用来自变压器BERT模型的双向编码器表示，它是最近用于自然语言处理文献中的文本分类等字段中的变压器的语言模型。使用预训练的BERT模型获得用于土耳其语的分类效率。

ArgFuse: A Weakly-Supervised Framework for Document-Level Event Argument Aggregation Authors Debanjana Kar, Sudeshna Sarkar, Pawan Goyal 大多数现有信息提取框架Wadden等人，2019年Veysehet al。，2020，2020侧重于句子级任务，几乎无法从给定文件捕获综合信息。在我们的努力中，从冗长的文本记录生成精确的文档级信息帧，我们介绍了信息聚合或参数聚合的任务。更具体地，我们的目标是过滤在句子级别提取的无关和冗余的参数提及，并渲染文档级信息帧。已经观察到大多数现有的作品解决文件级事件参数提取的相关任务yang等人，2018a zheng等人，2019a和突出实体识别Jain等，2020使用监督技术。要从大量标记数据中删除依赖性，我们使用弱监督技术探索信息聚合的任务。特别是，我们介绍了一种带有多个筛子的提取算法，它采用主动学习策略在低资源设置中有效地工作。对于此任务，我们已经注释了我们自己的测试数据集，包括131个文档信息帧，并已发布代码和数据集，以进一步研究该新域中的研究前景。据我们所知，我们是第一个在英语中建立这项任务的基线结果。我们的数据和代码是公开提供的

CIL: Contrastive Instance Learning Framework for Distantly Supervised Relation Extraction Authors Tao Chen, Haizhou Shi, Siliang Tang, Zhigang Chen, Fei Wu, Yueting Zhuang 自DS首次引入关系提取RE任务以来，已启动降低远程监督DS生成培训数据的噪声的旅程。在过去的十年中，研究人员应用了多实例学习MIL框架，找到来自一包句子的最可靠的功能。虽然MIL袋的模式可以大大降低DS噪音，但它无法在数据集中代表许多其他有用的句子功能。在许多情况下，这些句子特征只能通过额外的句子级别的人类注释以沉重的成本来获取。因此，界定监督的RE模型的性能被界定。在本文中，我们超越典型的MIL框架，并提出了一种新颖的对比实例，学习CIL框架。具体地，我们将初始密耳视为关系三重编码器和每个实例的负对对的约束正对。实验证明了我们提出的框架的有效性，并在NYT10，GDS和KBP上的先前方法进行了重大改进。

Pay Better Attention to Attention: Head Selection in Multilingual and Multi-Domain Sequence Modeling Authors Hongyu Gong, Yun Tang, Juan Pino, Xian Li 多头注意每个注意力头都收集来自输入序列的不同部分的突出信息，使其成为序列建模的强大机制。多语言和多域学习是序列建模的常见场景，其中关键挑战是最大化正面传输并减轻跨语言和域的负面传输。在本文中，我们发现非选择性关注共享是在所有语言和域中实现良好概括的次优。我们进一步提出了注意力共享战略，以方便多语言和多域序列建模参数共享和专业化。我们的方法自动了解不同语言和域的共享和专门的注意头，以减轻其干扰。在包括语音识别的各种任务中评估，文本到文本转换文本和语音，所提出的注意力共享策略始终如一地带来了基于多主题关注的序列模型。对于文本转换的语音，我们的方法在多语言设置中平均超过13个语言方向，在多域设置中的2.0 bleu超过3个域中的2.0 bleu。

Empower Distantly Supervised Relation Extraction with Collaborative Adversarial Training Authors Tao Chen, Haochen Shi, Liyuan Liu, Siliang Tang, Jian Shao, Zhigang Chen, Yueting Zhuang 随着近期监督DS关系提取的进展，吸引了相当大的关注，以利用多实例学习MIL来从嘈杂的DS蒸馏高质量的监督。在这里，我们超越标签噪声，并确定DS密尔的关键瓶颈，以至于其低数据利用率，作为MIL，MIL Abandons的高质量监督，大量的培训实例，这导致了低数据利用率和阻碍模型培训从拥有丰富的监督。在本文中，我们提出了协作的对抗培训来改善数据利用率，这些培训在不同层次协调虚拟对抗训练增值税和对抗性训练。具体而言，由于增值税是免费的，我们使用实例级别增值税，以回收由MIL放弃的实例。此外，我们在袋子水平上部署以释放米尔的高质量监督的全部潜力。我们所提出的方法为先前的现有技术提供了一致的改进5个绝对AUC分数，这验证了数据利用率问题的重要性和我们方法的有效性。

Does Robustness Improve Fairness? Approaching Fairness with Word Substitution Robustness Methods for Text Classification Authors Yada Pruksachatkun, Satyapriya Krishna, Jwala Dhamala, Rahul Gupta, Kai Wei Chang 在跨越群组中减少模型结果中的差异的现有偏差减缓方法专注于数据增强，脱叠模型嵌入，或在培训期间添加基于公平的优化目标。分别，已经开发了认证的文字替代稳健性方法，以减少杂散特征的影响和模型预测的同义替代。虽然他们的最终目标是不同的，但他们旨在鼓励模型对输入的某些变化进行相同的预测。在本文中，我们调查了经过认证的单词替代稳健性方法的效用，提高了多个文本分类任务的赔率平等和机会平等。我们观察到认证的稳健性方法改善公平性，并使用稳健性和偏置缓解方法在训练中导致两端的改善

Out of Context: A New Clue for Context Modeling of Aspect-based Sentiment Analysis Authors Bowen Xing, Ivor W. Tsang 基于方面的情绪分析ABSA旨在预测关于给定方面的审查中表达的情绪。 ABA的核心是模拟上下文与给定方面之间的交互，以提取方面相关信息。在现有工作中，通常采用注意机制和依赖性图网络网络来捕获上下文与给定方面之间的关系。而上下文隐藏状态的加权和用作馈送到分类器的最终表示。然而，可以已经丢弃与给定方面相关的信息，并且可以在现有模型的上下文建模过程中保留不利信息。此问题无法通过后续模块来解决，并且首先存在两个原因，它们的操作在编码器生成的上下文隐藏状态下进行，其值不能在编码器第二之后改变，现有编码器仅考虑上下文而不是给定的方面。为了解决这个问题，我们争论给定的方面应该被视为上下文中的上下文中的新线索。至于解决方案，我们根据不同的备份设计了几个方面了解的上下文编码器，这是一个方面感知LSTM和三个方面感知伯特。他们致力于生成针对ABSA任务量身定制的Aspect Advine的隐藏状态。在这些侧面感知的上下文编码器中，给定方面的语义用于调节信息流。因此，可以保留方面相关信息，并且可以在生成的隐藏状态中排除方面无关信息。我们对具有实证分析的几个基准数据集进行了广泛的实验，展示了我们所提出的方面了解的上下文编码器的效率和优势。

ROPE: Reading Order Equivariant Positional Encoding for Graph-based Document Information Extraction Authors Chen Yu Lee, Chun Liang Li, Chu Wang, Renshen Wang, Yasuhisa Fujii, Siyang Qin, Ashok Popat, Tomas Pfister 自然阅读单词对于信息提取的单词令人至关重要。尽管图表卷积网络GCNS在模拟了文档的空间布局模式上进行了最近的进步，但它们具有有限的能力捕获图表中给定的单词级节点表示的读数订单。我们提出阅读订单等级的位置编码绳，这是一种新的位置编码技术，旨在理解文档中的单词的顺序呈现。绳索为相对于单词级别图连接而生成相对于目标字的邻近单词的独特阅读订单代码。我们研究了两个基本的文档实体提取任务，包括Word标签和Word组在公共场所数据集和大规模支付数据集上分组。我们展示绳索一致地改善了现有的GCN，其余量高达8.4 F1得分。

Calliar: An Online Handwritten Dataset for Arabic Calligraphy Authors Zaid Alyafeai, Maged S. Al shaibani, Mustafa Ghaleb, Yousif Ahmed Al Wajih 书法是阿拉伯语遗产和文化的重要组成部分。它已被过去用于装饰房屋和清真寺。通常，这种书法由具有审美识别的专家手动设计。在过去的几年里，通过拍摄装饰建筑照片或使用数字设备绘制它们的照片来说，已经有很大的努力来数字化这种类型的艺术。后者被认为是一种在线形式，通过在屏幕上记录设备移动，电子笔来跟踪图形。在文献中，有许多离线数据集与书法的多样性。但是，没有用于阿拉伯语书法的在线数据集。在本文中，我们说明了我们的方法，用于收集和注释一个名为Carlar的阿拉伯语书法的在线数据集，其中包括2,500个句子。 Calliar是用于笔划，字符，单词和句子级预测的。

Challenges in Translation of Emotions in Multilingual User-Generated Content: Twitter as a Case Study Authors Hadeel Saadany, Constantin Orasan, Rocio Caro Quintana, Felix do Carmo, Leonardo Zilio 虽然情绪是普遍的概念，但从一种语言转移不同的情绪色调对于人类翻译者并不总是直接的，更不用说机器翻译系统。此外，认知状态是通过言语和文化环境的言语的口头解释来建立。有许多口头背景，情绪的表达构成了消息的关键组成部分。这对于用户生成的内容UGC尤其如此，它可以是产品或服务，推文或社交媒体帖子的审阅的形式。最近，它已经成为多语种网站，如Twitter，提供了UGC的自动翻译，以便到达他们的语言上不同的用户。在这种情况下，翻译用户的情绪的过程完全自动，没有人为干预，既不用于邮政编辑也不是为了准确检查。在这项研究中，我们评估自动翻译工具是否可以是在用户生成的多语言数据中传输情感的成功真实实用程序，例如推文。我们展示了语言现象特定的推特数据，在不同语言翻译情绪中提出挑战。我们在语言特征列表中总结了这些挑战，并展示了这些功能的不同语言对的频繁。我们还评估常用方法的能力，用于评估MT系统在源文本中保存情绪的性能。

CPM-2: Large-scale Cost-effective Pre-trained Language Models Authors Zhengyan Zhang, Yuxian Gu, Xu Han, Shengqi Chen, Chaojun Xiao, Zhenbo Sun, Yuan Yao, Fanchao Qi, Jian Guan, Pei Ke, Yanzheng Cai, Guoyang Zeng, Zhixing Tan, Zhiyuan Liu, Minlie Huang, Wentao Han, Yang Liu, Xiaoyan Zhu, Maosong Sun 近年来，预培训的语言模型PLMS的大小由跨越式和界限增长。然而，这些大规模PLMS的效率问题限制了其在现实世界场景中的利用率。我们为使用PLMS提供了一套成本有效的技术，以处理预培训，微调和推理的效率问题。 1我们介绍知识继承，通过利用现有的PLM而不是从头开始培训模型来加速预培训过程。 2我们探讨了大规模PLMS及时调整的最佳实践。与传统的微调相比，提示调整显着降低了特定参数的任务数量。 3我们实现了一个新推理工具包，即Infmoe，用于使用具有有限的计算资源的大规模PLM。基于我们的经济高效的管道，我们预先培训了两个型号的编码器解码器双语模型，具有110亿参数CPM 2及其具有1980亿参数的相应MOE版本。在我们的实验中，我们将CPM 2与MT5进行了比较下游任务。实验结果表明，CPM 2具有优秀的普通语言智能。此外，当在单个GPU上导通具有数十亿个参数的大规模模型的推动时，我们验证了Infmoe的效率。所有源代码和型号参数都可用

Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ? Authors Prasanna Parthasarathi, Joelle Pineau, Sarath Chandar 预测对话中的下一个话语取决于用户输入文本的编码，以在数据驱动方法中生成适当和相关响应。虽然所生成的语言的语义和句法质量进行评估，但更频繁地没有评估输入的编码表示。由于编码器的表示对于预测适当的响应是必不可少的，对编码器表示的评估是一个具有挑战性的重要问题。在这项工作中，我们展示了通过人工或自动度量生成的文本来展示不足以适当地评估对话模型的语言理解的声音，并且为此，提出了一组探测任务，以评估不同语言编码器的编码器表示用于对话模型。从实验中，我们观察到一些探测任务更容易，甚至更加难以学习的复杂模型架构。并且，通过实验，我们观察到基于RNN的架构在文本生成的自动度量上具有比变压器模型更好的性能，而是比探测任务的变压器模型更好，指示RNNS比变压器更好地保持任务信息。

A Brief Study on the Effects of Training Generative Dialogue Models with a Semantic loss Authors Prasanna Parthasarathi, Mohamed Abdelsalam, Joelle Pineau, Sarath Chandar 在对话任务中为下一个话语生成培训的神经模型学会了解培训集中的n克序列，其中培训目标等负面日志似然Nll或跨熵。这种常用的培训目标不会促进对上下文的替代响应。但是，最小化替代培训目标的影响，促进模型以产生替代响应并在语义相似性上进行评分，并未得到很好地研究。我们假设语言生成模型可以通过学习在训练期间生成替代文本来改善其分集，并将语义损失最小化作为辅助目标。我们探讨了在目标面向对话中的下一个话语一代的两种不同大小的数据集上的这个想法。我们制作两个观察1最小化语义目标改进的响应中的语义目标改进的多样性，但只有与最小化的NLL中的较大数据集多个数据集多发2大语言模型嵌入式可以更有用作是作为初始化的语义损失目标更有用对于令牌嵌入。

Multi-Pair Text Style Transfer on Unbalanced Data Authors Xing Han, Jessica Lundin 文本样式传输旨在通过释放句子或在不改变内容的情况下将句子转换为另一个域中的文本。通过必要的是，现有技术方法已经发展以适应非平行训练数据，因为它经常有多种数据源的尺寸，具有标记和未标记的句子的混合。此外，每个源中定义的固有样式可能是不同的。无论不同的组如何，通用双向的正式风格传输可能对不同的应用程序不完全呈很好。在这项工作中，我们开发了一个任务自适应元学习框架，可以使用单个模型同时执行多对文本样式转移。所提出的方法可以自适应地平衡多个任务中的元知识的差异。结果表明，我们的方法导致更好的定量性能以及相干风格的变化。通过这种方法处理不平衡数据和不匹配域的共同挑战。

TweeNLP: A Twitter Exploration Portal for Natural Language Processing Authors Viraj Shah, Shruti Singh, Mayank Singh 我们呈现Tweenlp，一个停止门户网站，组织Twitter的自然语言处理NLP数据并构建可视化和探索平台。它培养了来自各种NLP会议和一般NLP讨论的4月2021年4月2021年的推文。它支持多个功能，如TweetExplorer，以便通过主题探索推文，在整个组织会议周期内从Twitter活动中的洞察力，发现流行的研究论文和研究人员。它还建立了会议和研讨会提交截止日期的时间表。我们设想Tweenlp通过将关于与NLPExplerer Scientific文献搜索引擎的研究报告有关的推文来设计为NLP社区的集体记忆单元。当前系统托管在

JointGT: Graph-Text Joint Representation Learning for Text Generation from Knowledge Graphs Authors Pei Ke, Haozhe Ji, Yu Ran, Xin Cui, Liwei Wang, Linfeng Song, Xiaoyan Zhu, Minlie Huang 现有预先训练的模型，用于知识图形，将kg文本文本生成简单地单调文本到文本预训练模型，如kg上的kg或t5到文本数据集，这在很大程度上忽略了编码期间的图形结构，并且缺乏精心设计的预训练任务以明确模型图形文本对齐。为了解决这些问题，我们提出了一个名为ConnectGt的图表文本联合表示学习模型。在编码期间，我们设计了一个结构意识的语义聚合模块，该聚合模块插入每个变压器层以保留图形结构。此外，我们提出了三个新的预训练任务，明确提升图形文本对齐，包括各个文本图重建，并通过最佳传输在嵌入空间中的图表文本对齐。实验表明，ConnectGT在各种kg上获得了新的最新状态到文本数据集。

Transformers for Headline Selection for Russian News Clusters Authors Pavel Voropaev, Olga Sopilnyak 在本文中，我们探讨了用于对话评估的各种多语言和俄语预训练的变压器模型，用于对话评估2021在标题选择上的共享任务。我们的实验表明，组合的方法优于个性化的多语言和单语模型。我们展示了许多方法来获得句子嵌入的方法，并在其中的顶部学习排名模型。我们分别达到87.28和86.60分别为公共和私人测试的准确性。

Hybrid approach to detecting symptoms of depression in social media entries Authors Agnieszka Wo k, Karol Chlasta, Pawe Holas 情绪和词汇分析广泛用于检测抑郁或焦虑症。已经记录了一个人与健康个体相比，人类使用情绪障碍的语言存在显着差异。尽管如此，可以进一步提高这些词汇方法的有效性，因为目前的分析侧重于社交媒体条目的内容，而不是它们是如何写的。在这项研究中，我们专注于这些短文本彼此相似的方面，以及如何创建它们。我们通过应用COLLGRAM分析来提出一种创新的抑郁筛查问题方法，这是从文本获取语言信息的已知有效方法。我们将这些结果与基于BERT架构的情感分析进行比较。最后，我们创建了一个混合模型，实现了71的诊断准确性。

A Condense-then-Select Strategy for Text Summarization Authors Hou Pong Chan, Irwin King 选择然后压缩是一种流行的混合，由于其高效率，文本摘要框架。此框架首先选择突出的句子，然后独立地将每个选定的句子融入简洁的版本。但是，压缩句子分别忽略文档的上下文信息，因此容易删除突出信息。为了解决这个限制，我们提出了一种小说浓缩，然后选择文本摘要的框架。我们的框架首先同时融入每个文档句子。原始文件句子及其压缩版本成为提取的候选人。最后，提取器利用文档的上下文信息选择候选者并将它们组装成摘要。如果在冷凝期间删除突出信息，则提取器可以选择原始句子以保留信息。因此，我们的框架有助于避免损失突出信息，同时保留句子水平压缩的高效率。在CNN Dailymail，Duc 2002和PubMed数据集上的实验结果表明，我们的框架优于Select然后压缩框架和其他强基线。

Enhancing Question Generation with Commonsense Knowledge Authors Xin Jia, Hao Wang, Dawei Yin, Yunfang Wu 问题生成QG是生成自然和语法问题，可以通过特定答案来回答给定的上下文。之前的序列序列模型遭受询问高质量问题需要与背景的致商知识的问题，这在大多数情况下无法直接从培训数据学习，导致剥夺了知识的不令人满意的问题。在本文中，我们提出了一种多任务学习框架来引入问题生成过程的型号知识。我们首先从成熟数据库中检索相关的偶数知识三元组，并从源上下文中选择具有转换信息的Triples。基于这些内容丰富的知识三元，我们设计了两个辅助任务，将致辞语言合并到主要的QG模型中，其中一个任务是概念关系分类，另一个任务是尾部概念生成。 Squad的实验结果表明，我们的建议方法能够显着提高自动和人类评估指标的QG性能，证明将外部勤义知识与多任务学习结合在一起可以帮助模型产生人类的人类和高质量问题。

Process for Adapting Language Models to Society (PALMS) with Values-Targeted Datasets Authors Irene Solaiman 1 , Christy Dennison 1 1 OpenAI 语言模型可以产生有害和偏置的输出并表现出不良行为。我们提出了一种将语言模型调整到社会PALM的过程，其中具有目标数据集，通过在反映预定的一组目标值集的数据集上制作和微调来显着改变模型行为的迭代过程。我们使用三个指标定量度量评估我们的过程，该指标与人类评估，将争取遵守目标值，以及分析与给定社会类别相关的最常见词的产出和定性度量的毒性评分。通过每次迭代，我们基于从评估的观察到的缺点添加其他培训数据集示例。与广泛GPT 3语言模型大小的基线和控制模型相比，PALMS在所有指标上显着更好地表现出广泛的GPT 3语言模型尺寸，而不会影响能力完整性。我们发现PALMS的有效性随着模型规模而增加。我们表明，显着调整语言模型行为与小型手腕的数据集是可行的。

Abstract Geometrical Computation 11: Slanted Firing Squad Synchronisation on Signal Machines Authors J r me Durand Lose, Aur lien Emmanuel 在蜂窝自动机上射击队心同步是有限许多细胞的动态同步，而无需任何先前的范围。这可以被认为是具有无限速度的信号。大多数所提出的结构自然地转换为信号机器的连续设置，并在空间时间图中同步地产生分数图，即在水平线上积累。在一系列名为Abstract Geometrical Computation的一系列文章中研究了信号机。

Toward Knowledge Discovery Framework for Data Science Job Market in the United States Authors Mojtaba Heidarysafa, Kamran Kowsari, Masoud Bashiri, Donald E. Brown 数据科学领域的增长需要更好的工具来理解这种快节奏的成长域。此外，来自不同背景的个体对职业科学家的职业生涯感兴趣。因此，为个人和组织提供定量指南，以了解就业市场所需的技能至关重要。本文介绍了一个框架，用于分析美国中的数据科学相关工作的作业，同时提供访问该市场洞察的界面。所提出的框架包括三个子模块，允许连续数据收集，信息提取和基于Web的仪表板可视化，以研究数据科学相关工作和技能的空间和时间分布。这项工作的结果显示了数据科学工作的主要分支机构的重要技能，并试图提供基于技能的基于技能的这些数据科学分支机构的定义。此应用程序的当前版本部署在Web上，允许个人和机构调查通过行业镜头进行数据科学职位所需的技能。

QuaPy: A Python-Based Framework for Quantification Authors Alejandro Moreo, Andrea Esuli, Fabrizio Sebastiani Quapy是一种用于执行量化A.K.A.的开源框架，在Python中编写的监督普遍估计。量化是通过监督学习训练量子的任务，其中量化是估计未标记数据样本中感兴趣类别的相对频率A.k.a.的患病率值的预测因素。虽然通过将标准分类器应用于每个未标记的数据项来进行量化，并且计算已分配给每个类的数据项的数量，但已经证明了该分类和计数方法通过专门设计用于量化的方法优先表明。 Quapy提供了许多基线方法和高级定量方法的实现，用于定量导向模型选择的例程，其中几种广泛的评估措施以及常规用于该领域的鲁棒评估协议。 Quapy还使可用于测试量词的可用数据集，并提供可视化工具，以促进结果的分析和解释。该软件是开源的，并通过BSD 3许可证公开提供

Leveraging Language to Learn Program Abstractions and Search Heuristics Authors Catherine Wong, Kevin Ellis, Joshua B. Tenenbaum, Jacob Andreas 归纳程序合成或从所需行为的示例推断方案，为建立可解释，坚固，更广泛的机器学习系统提供一般范式。有效的程序合成取决于两个关键成分，从中构建程序的强大功能库，以及用于查找解决给定任务的程序的有效搜索策略。我们介绍抽象和程序搜索的LAP语言，一种使用自然语言注释的技术，以指导图书馆的联合学习和综合搜索模型。当集成到艺术库学习系统的状态DreamCoder时，即使在测试时间没有自然语言提示，也会在三个域编辑，图像构图和抽象推理中提高搜索效率和泛化的速度。

Understanding the Dynamics between Vaping and Cannabis Legalization Using Twitter Opinions Authors Shishir Adhikari, Akshay Uppal, Robin Mermelstein, Tanya Berger Wolf, Elena Zheleva 大麻合法化受到许多美国的欢迎，但其各州的作用在烟草E卷烟用作大麻呕吐中的作用尚不清楚。同时，大麻吐温与新的肺病和青少年使用升高有关。要了解大麻合法化对升级的影响，我们设计了一个观察研究，估算了休闲大麻对e卷烟用户职业大麻态度发展的因果关系。我们收集并分析了包含关于大麻和juul的意见的推特数据，这是一个非常受欢迎的电子卷烟品牌。我们使用弱监督学习为个人推文过滤和分类进行姿态检测。我们发现，休闲大麻合法化政策对用户已经赞成e香烟的用户的态度的发展增加了影响。

Interventional Video Grounding with Dual Contrastive Learning Authors Guoshun Nan, Rui Qiao, Yao Xiao, Jun Liu, Sicong Leng, Hao Zhang, Wei Lu 视频接地旨在从未定向于未经过时的视频的时刻为给定的文本查询本地化。现有方法更多地关注视觉和语言刺激的对齐，基于各种可能的匹配或回归策略，即p y x。因此，由于数据集的选择偏差，这些模型可能遭受语言和视频特征之间的虚假相关性。 1要揭示模型和数据背后的因果关系，我们首先从因果推断的角度提出了一种新颖的范式，即介入视频接地IVG，它利用后门调整来基于结构化因果模型SCM和DO COMPULUS PY来解除选择偏置。做x。然后，我们提出了一种简单但有效的方法来近似未观察到的混淆，因为它无法直接从数据集中采样。 2同时，我们介绍了一种双重对比学习方法DCL，通过最大化查询和视频剪辑之间的互信息MI来更好地对齐文本和视频，以及在视频中的目标时刻的开始结束帧之间的MI之间的MI来学习更多信息信息视觉表现。三个标准基准测试的实验表明了我们方法的有效性。

TCIC: Theme Concepts Learning Cross Language and Vision for Image Captioning Authors Zhihao Fan, Zhongyu Wei, Siyuan Wang, Ruize Wang, Zejun Li, Haijun Shan, Xuanjing Huang 对图像标题的现有研究通常代表使用具有低级别事实对象和关系的场景图的图像，并且无法捕获高级语义。在本文中，我们提出了一个主题概念扩展图像标题TCIC框架，其包含主题概念来代表高级跨模块语义。在实践中，我们将主题概念模拟为存储器矢量，并提出具有主节点TTN的变压器，以结合那些用于图像标题的矢量。考虑到主题概念可以从两种图像和标题中学到，我们为基于TTN的表示学习提供了两个设置。在视觉侧，TTN被配置为将基于场景图的特征和主题概念作为视觉表示学习的输入。在语言侧，TTN被配置为将标题和主题概念作为文本表示重新构造的输入。两个设置旨在使用相同的基于变压器的解码器生成目标字幕。在培训期间，我们进一步调整从图像和相应标题中学到的主题概念的表示，以强制跨派式学习。与艺术模型的某些状态相比，Coco上的实验结果表明了我们的方法的有效性。

Non-native English lexicon creation for bilingual speech synthesis Authors Arun Baby, Pranav Jawale, Saranya Vinnaitherthan, Sumukh Badam, Nagaraj Adiga, Sharath Adavanne 双语英语扬声器将英语交给他们的语言之一。他们的英语是一个非本土人，他们的对话是一种代码混合方式。双语文本到这种非母语扬声器语音TTS系统的可懂性取决于捕获非​​母语扬声器使用的音素序列的词典。然而，由于缺乏非原生英语词典，除了母语词典之外，现有的双语TTS系统还聘请了广泛使用的母语英语词汇。由于文本中的音频和母语英语词位的非本地语音发音不一致，因此这种TTS系统中合成语音的可懂度显着降低。

Context-Aware Legal Citation Recommendation using Deep Learning Authors Zihan Huang, Charles Low, Mengqiu Teng, Hongyi Zhang, Daniel E. Ho, Mark S. Krass, Matthias Grabmair 律师和法官花费大量时间在起草决定时引用适当的法律权威。在本文中，我们开发了一个引用推荐工具，可以帮助提高意见起草过程的效率。我们培训四种类型的机器学习模型，包括基于引用列表的方法协作过滤和三种基于上下文的方法文本相似性，Bilstm和Roberta分类器。我们的实验表明，利用当地文本背景提高了建议，深度神经模型实现了体面的表现。我们表明非深度文本的方法从对结构化案例元数据的访问中受益，但是在从长度不足的上下文预测时，深度模型仅受益于这种访问。我们还发现，即使在广泛的培训之后，尽管其普及的好处，但罗伯塔也不会表现出反复性的神经模型。我们对Roberta模型的行为分析进一步表明，预测性能跨时间和引用类稳定。

Improving Compositional Generalization in Classification Tasks via Structure Annotations Authors Juyong Kim, Pradeep Ravikumar, Joshua Ainslie, Santiago Onta n 组成概括是通过组合已知组件来系统地拓展到新的数据分布的能力。虽然人类似乎具有概括方向性的能力，但艺术神经模型的状态奋斗这样做。在这项工作中，我们研究了分类任务的组成概括并提出了两个主要贡献。首先，我们研究了将自然语言序列转换为序列数据集到分类数据集的方法，该数据集还需要组成泛化。其次，我们表明，提供结构暗示，提供解析树木和实体链接，因为变压器模型的注意面罩有助于组成泛化。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com