【AI视野·今日NLP 自然语言处理论文速览 第一期】Fri, 4 Jun 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 4 Jun 2021
Totally 62 papers
👉上期速览✈更多精彩请移步主页

Daily Computer Vision Papers

A Dataset and Baselines for Multilingual Reply Suggestion Authors Mozhi Zhang, Wei Wang, Budhaditya Deb, Guoqing Zheng, Milad Shokouhi, Ahmed Hassan Awadallah 回复建议模型帮助用户流程电子邮件并更快地聊天。以前的工作只研究英语回复建议。相反，我们展示了MRS，这是一个具有十种语言的多语言回复建议数据集。 MRS可以用于比较两个模型的一个家庭1检索模型，可以从修复集和2个生成模型中选择从头开始的2个代码。因此，MRS补充了现有的交叉语言泛化基准，重点关注分类和序列标签任务。我们为MRS构建一个代表模型和检索模型作为基线。两种型号在单机设置中具有不同的优势，它们需要不同的策略来拓展语言。 MRS公开提供

Semantic-WER: A Unified Metric for the Evaluation of ASR Transcript for End Usability Authors Somnath Roy 近期监督，半监督和自我监督的深度学习算法的进步表明了自动语音识别ASR系统性能的显着改善。最先进的系统已经实现了小于5的字错误率。然而，在过去，研究人员已经争论了WER度量的不适合性，以评估ASR系统，用于下游任务，例如语言理解SLU和信息检索。原因是WER在表面级工作，不包括任何句法和语义知识。当前的工作提出了语义WER SWER，一个指标，用于评估下游应用程序的ASR转录物。可以为任何下行流任务轻松自定义SWER。

Provably Secure Generative Linguistic Steganography Authors Siyu Zhang, Zhongliang Yang, Jinshuai Yang, Yongfeng Huang 生成语言隐写术主要利用语言模型，并应用了书签采样吊带，以产生高安全性的隐写文本stegotext。然而，以前的方法通常导致STEGOTEXT和自然文本的条件概率分布之间的统计差异，这带来了安全风险。在本文中，为了进一步确保安全性，我们提出了一种新颖的可提供安全的生成语言隐写方法ADG，其根据诸如OFF货物模型的概率根据其概率来递归地嵌入奇怪信息。我们不仅证明了数学上的ADG的安全性，而且还对三个公共集团进行了广泛的实验，以进一步验证其难以察觉。实验结果表明，该方法能够产生具有近乎完美安全性的STEGOTEXT。

A Case Study of Spanish Text Transformations for Twitter Sentiment Analysis Authors Eric S. Tellez, Sabino Miranda Jim nez, Mario Graff, Daniela Moctezuma, Oscar S. Siodia, Elio A. Villase or 情感分析是一种文本挖掘任务，可以决定给定文本的极性，即其积极性或消极性。最近，鉴于在微博博平台中的意见攻击兴趣，它得到了很多关注。这些新形式的文本表达目前在鉴于使用俚语，正交和语法错误等方面存在新的挑战。随着这些挑战，实际的情感分类器应该能够有效地处理大量工作负载。

CCPM: A Chinese Classical Poetry Matching Dataset Authors Wenhao Li, Fanchao Qi, Maosong Sun, Xiaoyuan Yi, Jiarui Zhang 诗歌是人类最重要的艺术形式之一。最近，许多研究侧重于将诗歌的一些语言特征纳入其理解或发电系统的诗歌，如风格和情绪。但是，没有专注于理解或评估诗歌的语义。因此，我们提出了一项新的任务来评估诗歌匹配的诗歌模型的语义理解。具体来说，根据一系列诗歌的现代汉语翻译，这项任务要求模型在四个候选人中选择一行中国古典诗歌。要构建此数据集，我们首先获得中国古典诗歌和现代中文翻译的一套并行数据。然后我们将类似的诗歌中的诗歌与诗歌语料库中的线条作为负面选择。我们命名DataSet中文古典诗歌匹配数据集CCPM并释放它

DialogueCRN: Contextual Reasoning Networks for Emotion Recognition in Conversations Authors Dou Hu, Lingwei Wei, Xiaoyong Huai 谈话中的情感认可ERC正在增加促进智能机器的关注。最近，许多方法已经致力于通过深入学习模式感知会话环境。然而，由于缺乏缺乏提取和整合情绪线索的能力，这些方法不足以理解上下文。在这项工作中，我们提出了新颖的语境推理网络对话框来完全理解认知角度的会话背景。灵感来自于认知情感理论，我们设计多匝推理模块以提取和整合情绪线索。推理模块迭代地执行直观的检索过程和有意识的推理过程，其模仿人类独特的认知思维。在三个公共基准数据集上进行了广泛的实验，证明了所提出的模型的有效性和优越性。

SOCCER: An Information-Sparse Discourse State Tracking Collection in the Sports Commentary Domain Authors Ruochen Zhang, Carsten Eickhoff 在追求自然语言的理解中，在叙事中追踪态度的变化已经存在很长时间的兴趣。在建模交易以中心对话和程序文本的状态建模方面取得了令人印象深刻的进展。然而，这个问题在一般话语的领域中已经不太积极研究了各国的实际描述可能是松散定义的，并且状态变化较小地分布在话语上。本文建议转向简化，完全可观察的系统，这些系统展示了其中一些属性体育赛事。我们策划了2,263场足球比赛，包括盖章的自然语言评论，伴随着团队评分目标，切换球员或与卡处罚等离散事件。我们提出了一项新的任务制定，鉴于不同时间戳的游戏评论段落，系统被要求识别游戏事件的发生。此域允许丰富的状态说明，同时避免许多其他现实世界的复杂性。作为初始性能测量的初始点，我们包括两个基线方法，从句子分类的角度分别与艺术生成模型的时间依赖和当前状态，并证明了在定义时甚至复杂的现有方法在状态跟踪任务上挣扎国家扩大或非事件喋喋不休变得普遍。

The Case for Translation-Invariant Self-Attention in Transformer-Based Language Models Authors Ulme Wennberg, Gustav Eje Henter 用于编码位置信息的机制是基于变压器的语言模型的核心。在本文中，我们分析了现有语言模型的位置嵌入，找到了对嵌入行为的强烈证据，无论是对胚胎本身还是对自我关注的影响。在训练期间，翻译不变性的程度随着模型性能而与模型性能正相关。我们的调查结果导致我们提出翻译不变的自我注意TISA，这在不需要常规位置嵌入的情况下以可解释的方式占代币之间的相对位置。我们的建议对现有位置代表方法具有几种理论优势。实验表明，它可以改善普瑞艾伯特对胶水任务，同时只添加数量幅度的位置参数。

GL-GIN: Fast and Accurate Non-Autoregressive Model for Joint Multiple Intent Detection and Slot Filling Authors Libo Qin, Fuxuan Wei, Tianbao Xie, Xiao Xu, Wanxiang Che, Ting Liu 多型SLU可以在话语中处理多个意图，这引起了不断的关注。然而，最先进的联合模型依靠自回归方法，导致两个问题减慢推理速度和信息泄漏。在本文中，我们探索了联合多种意图检测和槽填充的非自动评级模型，实现更快速和准确。具体地，我们提出了一个全球局部图形交互网络GL GIN，其中提出了一个本地插槽识别图形交互层，以便在引入全局意图插槽相互作用层时模拟不协调的插槽问题来模拟多个意图之间的交互来模拟不协调的槽问题。话语中的插槽。两个公共数据集上的实验结果表明，我们的框架实现了艺术表现的状态，而速度速度速度为11.5倍。

Representing Syntax and Composition with Geometric Transformations Authors Lorenzo Bertolini, Julie Weeds, David Weir, Qiwei Peng 对语法图SYG的利用作为一个单词的语境，已被证明是有益的分布语义模型DSM，无论是通过组合的单词表示和推导短语表示。然而，尽管存在潜在的性能效益，但与传统DSM相比，迄今为止提出的语法意识的DSM具有大量的参数，并遭受数据稀疏性。此外，Syg链路的编码I.，句法关系大大限制为线性图。另一方面，知识图表文献已经提出了采用不同几何变换GT的轻量级模型来编码知识图kg中的边缘。我们的工作探讨了采用该系列模型来编码SYG的可能性。此外，我们调查GT更好地编码句法关系，从而可以通过语法语境构造来使用这些表示来增强短语级组成。

SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization Authors Yixin Liu, Pengfei Liu 在本文中，我们展示了一个概念上简单的抽象摘要概念，可以通过将当前主导的序列逐序通过将文本生成作为参考免费评估来弥合当前主导的序列来施加学习目标和评估度量之间的差距来弥合学习目标和评估度量之间的差距问题一，质量估计通过对比学习辅助。实验结果表明，随着现有的顶级评分系统的微小修改，SIMCLS可以通过大边距提高现有顶部表演模型的性能。特别是，在CNN Dailymail数据集上的Pegasus W.R.T Rouge 1上的2.51对BART和2.50的绝对改善。在新级别推动最先进的绩效状态。我们开设了我们的代码和结果

Defending against Backdoor Attacks in Natural Language Generation Authors Chun Fan, Xiaoya Li, Yuxian Meng, Xiaofei Sun, Xiang Ao, Fei Wu, Jiwei Li, Tianwei Zhang 神经网络模型的令人沮丧的脆弱性质使目前的自然语言生成NLG系统容易出现后门攻击并产生可能是性别歧视或攻击性的恶意序列。不幸的是，已经投入了很少的努力，以如何影响当前的NLG模型以及如何防御这些攻击。在这项工作中，我们调查了两个重要的NLG任务，机器翻译和对话一代问题。通过为后门攻击和防御提供正式的定义，以及开发相应的基准，我们设计攻击NLG模型的方法，这实现了高攻击成功，以便询问NLG模型生成恶意序列。为了防御这些攻击，我们建议通过检查删除或替换生成输出上的某些单词的效果来检测攻击触发，我们找到了某些类型的攻击。我们将讨论这项工作的限制，并希望这项工作能够提高隐藏在深NLG系统中的后门风险的认识。代码和数据可用

Exploring Distantly-Labeled Rationales in Neural Network Models Authors Quzhe Huang, Shengqi Zhu, Yansong Feng, Dongyan Zhao 最近的研究努力将各种人为理性纳入神经网络以提高模型性能，但很少关注理性的质量。大多数现有方法将其模型分配到完全和平等的焦点以远方标记的理由词，同时忽略了潜在的重要非理由词，而不是区分不同理由词的重要性。在本文中，我们提出了两种新颖的辅助损失功能，以便更好地利用远方标记的理由，这鼓励模型保持超越标记为理性引脚的重要词语，并减轻了对非有用理性的冗余培训。两个代表性分类任务的实验表明，我们的提出方法可以推动分类模型，以有效地学习来自非完美理由的关键线索，同时保持将其焦点扩展到其他未标记的重要词组的能力，从而显着优于现有方法。

TVDIM: Enhancing Image Self-Supervised Pretraining via Noisy Text Data Authors Pengda Qin, Yuhong Li 在现实世界中无处不在的多模式数据中，文本是人类生成的模态，而图像诚实地反映了物理世界。在视觉理解应用中，预计机器将理解像人类这样的图像。受此启发，我们提出了一种新颖的自我监督学习方法，名为Text Consuped Visual Deave InfoMax TVDIM，通过充分利用自然现有的多模式数据来学习更好的视觉表示。我们对自我监督学习的核心思想是最大化从共享上下文的多个视图中提取的功能之间的相互信息到合理程度。与以前的方法不同，只能从单个模态考虑多个视图，我们的工作从不同的模态产生多个视图，并共同优化具有模态内的功能对的相互信息。考虑到来自数据噪声的模块间的信息差距，我们采用基于EMPH排序的对比学习来优化相互信息。在评估期间，我们直接使用预训练的视觉表示来完成各种图像分类任务。实验结果表明，在处理相同一组图像时，T​​VDIM显着优于先前的视觉自我监督方法。

Three Sentences Are All You Need: Local Path Enhanced Document Relation Extraction Authors Quzhe Huang, Shengqi Zhu, Yansong Feng, Yuan Ye, Yuxuan Lai, Dongyan Zhao 文档级关系提取RE是一个比句子RE更具挑战性的任务，因为它通常需要在多个句子上推理。然而，人类的注释器通常使用少数句子来识别给定实体对之间的关​​系。在本文中，我们展示了一种令人尴尬的简单但有效的方法来启发性地选择文件级Re的证据句子，这可以很容易地与Bilstm结合在基准数据集中实现良好的性能，甚至比Pancy图形基于神经网络的方法更好。我们发布了代码

Template-Based Named Entity Recognition Using BART Authors Leyang Cui, Yu Wu, Jian Liu, Sen Yang, Yue Zhang 最近有兴趣调查几次射击网，而低资源目标域与资源丰富的源域相比具有不同的标签集。现有方法使用基于相似的度量标准。但是，它们无法充分利用NER模型参数中的知识转移。要解决此问题，我们提出了一种基于模板的方法，将ner视为序列框架的序列中的语言模型排序问题，其中由候选名为实体跨度填充的原始句子和语句模板被视为源序列和目标。分别序列。为了推断，需要基于相应的模板分数对每个候选跨度进行分类。我们的实验表明，该方法在Conll03资源任务上实现了92.55 F1得分，并且显着优于MIT电影，麻省理工学院餐厅和ATIS低资源任务的微调10.88,5.34和11.73 F1分数。

Reordering Examples Helps during Priming-based Few-Shot Learning Authors Sawan Kumar, Partha Talukdar 从有限的数据或枪支学习中学习的能力是对NLP系统的理想和通常的关键要求。虽然许多现有方法在少数例子中学习差不多，但最近被证明了大型预制语言模型是有效的一些射击学习者。几次拍摄学习的方法，不需要FineTuning模型参数，是增加具有初版文本的语言模型S输入，这通常是使用任务特定的描述和示例构造的。在这项工作中，我们进一步探索了基于初步的射击学习，专注于使用示例作为提示。我们显示正确顺序的示例是泛化的关键。我们在正确的顺序介绍佩罗提示，我们向我们制定了几次拍摄学习，因为搜索了培训例子的排列。我们表明，与现有方法相比，佩罗可以学会使用少数为10个示例概括。虽然纽诺令牌是在提示中分离示例的自然选择，但我们展示了学习新的分离器令牌可能会在性能方面提供进一步的收益。我们展示了拟议方法对情绪分类任务，自然语言推理和事实检索的有效性。最后，我们分析了学到的提示，揭示了新颖的见解，包括单独秩序的两个训练示例的想法可以为情绪分类和自然语言推断提供竞争性能。

Auto-tagging of Short Conversational Sentences using Transformer Methods Authors D. Emre Ta ar, kr Ozan, Umut zdil, M. Fatih Akca, O uzhan lmez, Semih G l m, Se ilay Kutal, Ceren Belhan 根据其具有高精度的语义特征对短语句子进行分类的问题是在自然语言处理中研究的主题。在本研究中，使用了使用在46个不同类别中分类的样本创建的数据集。示例由公司客户代表和公司网站游客之间的聊天对话中取出的句子组成。主要目的是以46个预定类别用于聊天应用程序的最准确的方式自动标记来自访问者的问题和请求，以为网站访问者提出的问题生成有意义的答案。为此，优选不同的伯特模型和一个GPT 2型号，在土耳其语中训练。相关模型的分类性能详细分析并相应地报道。

Bilingual Alignment Pre-training for Zero-shot Cross-lingual Transfer Authors Ziqing Yang, Wentao Ma, Yiming Cui, Jiani Ye, Wanxiang Che, Shijin Wang 多语种预训练模型通过预先培训丰富种类的语言来实现了显着的转移性能。 Mbert等大多数型号都在未标记的Corpora上进行培训。模型中的静态和上下文嵌入不能很好地对齐。在本文中，我们的目标是通过更好地对准嵌入式来改善零射线交叉传输性能。我们提出了一个名为对准语言模型对齐的预训练任务，它使用统计对齐信息作为引导双语词预测的先前知识。我们评估我们在多语种机器阅读理解和自然语言界面任务中的方法。结果显示对齐可以在MLQA和XNLI数据集中显着提高零射性能。

SIRE: Separate Intra- and Inter-sentential Reasoning for Document-level Relation Extraction Authors Shuang Zeng, Yuting Wu, Baobao Chang 文献级关系提取近年来引起了很多关注。它通常被制定为分类问题，其预测文档中所有实体对的关系。然而，以前的作品不分青红皂白种地代表了同样的方式和讲话关系，混淆了预测它们的不同模式。此外，它们创建了一个文档图表，并在图表上的实体之间的路径作为逻辑推理的线索。但是，并非所有实体对都可以与路径连接，并在其图中具有正确的逻辑推理路径。因此，无法涵盖许多逻辑推理的情况。本文提出了一种有效的体系结构，以不同的方式代表内部和间行列关系。我们设计一种新的和直接的逻辑推理模块形式，可以涵盖更多逻辑推理链。在公共数据集上的实验显示SIRE优于前一种最先进的方法。进一步的分析表明，我们的预测是可靠和可解释的。我们的代码可供选择

Fingerprinting Fine-tuned Language Models in the Wild Authors Nirav Diwan, Tanmoy Chakravorty, Zubair Shafiq 担心语言模型LMS生成高质量合成文本的能力可能滥用，以启动垃圾邮件，虚假信息或宣传。因此，研究界正在积极努力开发检测给定文本是否有机或合成的方法。虽然这是一个有用的第一步，但重要的是能够进一步指纹作者LM来归因于其原点。在指纹识别LMS上的前程仅限于归因于通常通常10个预训练LMS产生的合成文本。然而，诸如GPT2之类的LMS通常以无数方式精细调整，例如，在域特定文本语料库上以生成合成文本。指纹识别精细调整LMS是挑战，因为细小的LMS宇宙在现实方案中更大。为解决这一挑战，我们研究了野外细调LMS的大规模指纹识别问题。使用由108种不同的精细调整LMS产生的合成文本的真实世界数据集，我们进行全面的实验，以证明现有的指纹方法的局限性。我们的结果表明，微调本身是最有效的，归因于精细调整LMS产生的合成文本。

PsyQA: A Chinese Dataset for Generating Long Counseling Text for Mental Health Support Authors Hao Sun, Zhenru Lin, Chujie Zheng, Siyang Liu, Minlie Huang 伟大的研究兴趣被设计为能够提供精神健康支持的AI服务。然而，缺乏Corpora是这项研究的主要障碍，特别是用中文。在本文中，我们提出了PSYQA，以问题和答案对的形式提出了一个汉语心理健康支持的数据集。 Psyqa抓住了中国心理健康服务平台，并包含22k个问题和56k长，结构良好的答案。根据心理咨询理论，我们向一部分答案文本注释了典型策略，以提供支持，进一步存在于咨询答案中的词汇特征和战略模式的深入分析。我们还评估了使用生成普试模型产生咨询答案的表现。结果表明，利用策略增强了生成答案的流畅性和乐于助引，但仍有一个巨大的空间才能进行研究。

Discovering Chatbot's Self-Disclosure's Impact on User Trust, Affinity, and Recommendation Effectiveness Authors Kai Hui Liang, Weiyan Shi, Yoojung Oh, Jingwen Zhang, Zhou Yu 近年来，聊天禁忌们有权与人类进行社交谈话，有可能引出人们披露他们的个人经历，意见和情绪。但是，人们如何以及在多大程度上以及在多大程度上响应Chabots自披露仍然缺少。在这项工作中，我们设计了一个社会聊天栏，其中三个自披露水平进行了小型会谈，并为人们提供了相关的建议。 372 MTurk参与者随机分为四个组中的四个团体之一，以与两个主题，电影和Covid的不同自我披露水平相反。我们发现人们的自我披露水平对Chatbot的自披露水平强烈互惠。聊天自我披露也积极影响了接触和用户对机器人的看法，并导致了更有效的推荐，使得参与者享受并更多的建议商定。

Improving Event Causality Identification via Self-Supervised Representation Learning on External Causal Statement Authors Xinyu Zuo, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao, Weihua Peng, Yuguang Chen 目前的事件因果关系识别ECI主要采用受监督框架，这些框架严重依赖标记数据进行培训。遗憾的是，当前注释的数据集的规模相对有限，这不能为模型提供足够的支持，以捕获来自因果陈述的有用指标，特别是为了递送那些新的未经案例。为了缓解这一问题，我们提出了一种新的方法，很快是Careerl，它利用了事件因果关系识别的外部因果陈述。首先，我们设计一个自我监督的框架来学习来自外部因果语句的上下文特定因果模式。然后，我们采用对比转移策略将学习的上下文特定因果模式纳入目标ECI模型。实验结果表明，我们的方法分别在F1值上显着优于先前的FAGESTORYLINE和因果关系2.0和3.4点的方法。

LearnDA: Learnable Knowledge-Guided Data Augmentation for Event Causality Identification Authors Xinyu Zuo, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao, Weihua Peng, Yuguang Chen 事件因果关系识别ECI的现代模型主要基于受监管学习，这易于缺乏问题的数据。不幸的是，现有的NLP相关增强方法不能直接生成此任务所需的可用数据。为了解决问题的数据，我们通过在双学习框架中迭代地生成新示例和分类事件因果，介绍了一种新的培训数据来增加训练数据以进行活动因果关系。一方面，我们的方法是知识引导，可以利用现有的知识库来产生良好的新句子。另一方面，我们的方法采用了一种双重机制，它是一种学习的增强框架，可以交互地调整生成过程以生成任务相关句子。实验结果对两个基准开始的eventStoryLine和因果关系显示，我们的方法可以增强适当的任务相关培训数据，因为ECI 2我们的方法分别在F1值上的EventStoryLine和因果关系2.5和2.1点上的先前方法。

Corporate core values and social responsibility: What really matters to whom Authors M. A. Barchiesi, A. Fronzetti Colladon 本研究采用了创新措施，语义品牌得分，评估利益相关者在不同公司核心价值观中的利益。在其他之外，我们专注于企业社会责任CSR核心价值陈述，以及他们从五类利益相关者客户，公司沟通团队，员工，协会和媒体中获得的关注。组合大数据方法和社会网络分析和文本挖掘工具，我们分析了大约58,000条意大利推文，发现不同的利益相关者具有不同的普遍兴趣。 CSR的注意力远比预期的注意力得多。与客户和员工相关的核心价值观在前景中。

Can vectors read minds better than experts? Comparing data augmentation strategies for the automated scoring of children's mindreading ability Authors Venelin Kovatchev, Phillip Smith, Mark Lee, Rory Devine 在本文中，我们实施并比较了7种不同的数据增强策略，以便为儿童的自动评分理解别人的思想，感受和欲望或思维方式的任务。

Generate, Prune, Select: A Pipeline for Counterspeech Generation against Online Hate Speech Authors Wanzheng Zhu, Suma Bhat 在没有阻止言论自由的情况下，有效地对抗更多的仇恨言论的对策具有很大的社会兴趣。自然语言生成NLG，是独特的，能够开发可扩展的解决方案。然而，从货架NLG方法主要是序列到序列神经模型，它们的限制在于它们产生常见的，重复和安全的响应，而不管仇恨语音，请避免使用此类语言。或无关的反应，使他们无效地升级令人难以置信的仇恨对话。在本文中，我们设计了三个模块管道方法，以有效提高多样性和相关性。我们所提出的管道首先通过生成模型生成各种柜台候选，以促进多样性，然后使用BERT模型过滤不语法的模型，并使用新颖的基于检索方法选择最相关的柜台响应。关于三个代表性数据集的广泛实验证明了我们在产生多样化和相关柜台的方法中的效果。

Few-shot Knowledge Graph-to-Text Generation with Pretrained Language Models Authors Junyi Li, Tianyi Tang, Wayne Xin Zhao, Zhicheng Wei, Nicholas Jing Yuan, Ji Rong Wen 本文研究如何自动生成一种描述知识图KG中的事实的自然语言文本。考虑到少数拍摄设置，我们利用预训练语言模型PLMS在语言理解和一代的优异能力。我们提出了三个主要的技术贡献，即表示缩小KG编码和PLMS之间的语义差距的语义差距，对偏置的基础表示的关系，以及用于学习KG和文本之间的对应关系的多项任务学习的偏置KG线性化。三个基准数据集的广泛实验表明了我们模型在KG到文本生成任务的有效性。特别是，我们的模型优于完全监督和少量拍摄设置的所有比较方法。我们的代码和数据集可用

Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction Authors Piji Li, Shuming Shi 我们调查中国语法纠错CGEC的问题，并呈现一个名为尾部的新框架，以尾部TTT非自动增加序列预测，以解决CGEC中隐藏的深度问题。考虑到大多数令牌是正确的，并且可以直接从源传送到目标，并且可以基于双向上下文信息来估计和校正错误位置，因此我们使用BERT初始化的变压器编码器作为骨干模型来进行信息建模和传送。考虑到仅依靠相同的位置替换无法处理可变长度校正案例，共同需要各种操作，删除，插入和本地释义。因此，条件随机字段CRF层堆叠在向上尾部，以通过对令牌依赖性建模来进行非自回归序列预测。由于大多数令牌都是正确的，并且容易被传达给目标，因此模型可能遭受严重的不平衡问题。为了减轻这个问题，将局灶性损失罚款策略纳入损失职能。此外，除了典型的固定长度误差校正数据集外，我们还构造了一个可变长度的语料库来进行实验。标准数据集的实验结果，特别是在可变长度数据集上，证明了TTT在句子级精度，精度，召回和F1衡量错误检测和校正任务方面的有效性。

Men Are Elected, Women Are Married: Events Gender Bias on Wikipedia Authors Jiao Sun, Nanyun Peng 人类活动可以被视为事件的序列，这对理解社会至关重要。不同人口统计组的解体事件分布可以表现和放大社会刻板印象，并可能危及成员在某些团体中追求某些目标的能力。在本文中，我们展示了维基百科语料库中的性别偏见的第一次活动研究。为了促进该研究，我们巩固职业生涯和个人生活描述的语料库，与来自10,412名名人的7,854个碎片组成的人口统计信息。然后，我们检测具有最先进的事件检测模型的事件，使用策略性生成的模板校准结果，并提取与具有的性别的非对称关联的事件。我们的研究发现维基百科页面倾向于将个人生活事件与女性的专业活动进行陈列，但不适用于雄性，该事件要求致电维基百科社区正式化指导，并培训编辑贡献贡献者的隐含偏见。我们的工作还为未来的工作奠定了对语料库级别的量化和发现事件偏见的基础。

Automatically Detecting Cyberbullying Comments on Online Game Forums Authors Hanh Hong Phuc Vo, Hieu Trung Tran, Son T. Luu 在线游戏论坛对大多数游戏玩家都很受欢迎。他们用它来沟通和讨论游戏的策略，甚至交朋友。然而，游戏论坛还包含滥用和骚扰演讲，令人不安和威胁的球员。因此，有必要自动检测和删除网络欺凌评论，以保持游戏论坛清洁和友好。我们使用从魔兽世界魔兽世界和传奇联盟的网络欺凌数据集LOL论坛和火车分类模型来自动检测玩家的评论是否是滥用的。结果获得了LOL论坛的82.69次宏F1分数，并通过网络武装数据集的有毒伯爵模型为哇论坛的83.86次宏F1分数。

ZmBART: An Unsupervised Cross-lingual Transfer Framework for Language Generation Authors Kaushal Kumar Maurya, Maunendra Sankar Desarkar, Yoshinobu Kano, Kumari Deepshikha 尽管近期NLP研究进展，但对自然语言生成的交叉思考转移相对解读。在这项工作中，我们将高资源语言HRL的监督转移到多个低资源语言LRL用于自然语言生成NLG。我们考虑四个NLG任务文本摘要，问题生成，新闻标题生成和分散组生成和三种句法多样化语言，即英语，印地语和日语。我们提出了一种令人难过的交叉语言生成框架，称为ZMBART，不使用任何并行或伪并行背面翻译数据。在此框架中，我们进一步预先训练MBart序列以使用三种语言的单语言数据使用辅助任务进行序列的序列。辅助任务的目标函数靠近目标任务，从而丰富MBart的多语言潜在表示，并为目标任务提供良好的初始化。然后，该模型与任务特定的监督英语数据进行了很好的调整，并在零拍摄设置中直接评估低资源语言。为了克服灾难性的遗忘和虚假的相关问题，我们分别应用了冻结模型组件和数据论证方法。这种简单的建模方法给了我们有前途的结果。我们尝试使用1000个监督数据点的拍摄训练，这进一步提升了模型性能。我们执行了多种消融和交叉舌舌可转移性分析，以证明ZMBART的稳健性。

A Systematic Investigation of KB-Text Embedding Alignment at Scale Authors Vardaan Pahuja, Yu Gu, Wenhu Chen, Mehdi Bahrami, Lei Liu, Wei Peng Chen, Yu Su 知识库基础KBS和文本通常包含互补知识KBS Store结构化知识，可以支持长距离推理，而文本以非结构化方式商店更加全面和及时的知识。单独嵌入个人知识来源进入矢量空间已经表现出巨大的成功在编码各自的知识时，但如何共同嵌入和与知识来源共同嵌入和理由完全利用互补信息仍然很大程度上是一个公开问题。我们对对齐KB和文本嵌入进行联合推理进行了大规模的。我们建立了一个具有两个评估任务的新型评估框架，少量拍摄链路预测和模拟推理，并评估了一系列KB文本嵌入对准方法。我们还展示了这种对准如何将文本信息注入KB Embeddings，以便使用Covid 19作为案例研究的新兴实体和事件的更准确的链路预测。

To Point or Not to Point: Understanding How Abstractive Summarizers Paraphrase Text Authors Matt Wilber, William Timkey, Marten Van Schijndel 近年来，抽象神经摘要模型始终看到了巨大的改善，如所产生的摘要的胭脂评分所示。但尽管有这些改善的指标，但对不同模型的理解有限，以及这些策略如何涉及他们对语言的理解。要更好地了解，我们运行了几个实验，以表征一个流行的抽象模型，See等人的指针发生器模型。 2017年，使用其显式复制生成交换机来控制其抽象生成级别与提取复制。在一个提取偏置数据集上，该模型利用句法边界来截断句子，否则经常复制逐字。当我们修改副本生成开关并强制模型生成时，只有简单的释义能力就会透露出对事实不准确和幻觉。在抽象偏置数据集上，模型不经常拷贝，但显示出类似地有限的抽象能力。符合以前的研究，这些结果表明，抽象摘要模型缺乏生成抽象和忠实于源文件所需的语义理解。

The Limitations of Limited Context for Constituency Parsing Authors Yuchen Li, Andrej Risteski 将语法纳入NLP中的神经方法具有众多实用和科学的益处。例如，即使具有语法模块的伯特这样的识别模型，也能够产生更好的样本的语言模型可能能够生成更好的样本，这种模型可以用于核心NLP任务，如无监督的句法解析。近年来的迅速进展是通过解析阅读预测的实证成功来刺激，因为Shen等人，2018A的陈诗，稍后简化了Shen等，2019年的命令神经元LSTM。最值得注意的是，这是第一次神经方法能够成功地执行由F 1得分等各种度量评估的无监督句法解析。

Discriminative Reasoning for Document-level Relation Extraction Authors Wang Xu, Kehai Chen, Tiejun Zhao 文档级关系提取DACRE模型通常使用图形网络来隐式模拟推理技能，即模式识别，逻辑推理，练习推理等与文档中的一个实体对之间的关​​系相关。在本文中，我们提出了一种新颖的歧视推理框架，明确地模拟本文档中每个实体对之间的这些推理技能的路径。因此，鉴别的推理网络旨在基于每个实体对的构建曲线和矢量化文档上下文来估计不同推理路径的关系概率分布，从而识别它们的关系。实验结果表明，我们的方法优于大规模DoCre数据集的前一种最先进状态。该代码公开可用

Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA? Authors Cunxiang Wang, Pai Liu, Yue Zhang 最近的工作已经使用预先培训的语言模型PLMS调查了有趣的问题作为知识库，用于回答公开问题。然而，现有的工作有限，在使用具有高测试列车重叠的小型基准。我们使用小队构建封闭的书QA的新数据集，并调查BART的性能。实验表明，芭蕉有挑战性，以记住高精度的培训事实，并且即使保留相关知识，也挑战回答封闭的书籍问题。找到了一些有希望的方向，包括解耦知识记忆过程和QA Finetune进程，强迫模型在问题应答时回忆相关知识。

Adjacency List Oriented Relational Fact Extraction via Adaptive Multi-task Learning Authors Fubang Zhao, Zhuoren Jiang, Yangyang Kang, Changlong Sun, Xiaozhong Liu 关系事实提取旨在从非结构化文本中提取语义三胞胎。在这项工作中，我们表明所有关系事故提取模型都可以根据面向图形的分析视角来组织。基于该分析框架提出了一种有效的模型，邻接列出的关系事实直接。为了减轻误差传播和子任务损失均衡的挑战，直接使用具有动态子任务损失平衡的新型自适应多任务学习策略。在两个基准数据集中进行了广泛的实验，并且结果证明了所提出的模型优于一个关于关系三态提取的艺术SOTA模型的一系列状态。

Comparing Acoustic-based Approaches for Alzheimer's Disease Detection Authors Aparna Balagopalan, Jekaterina Novikova 在本文中，我们研究了使用传统的声学特征2使用新型预训练的声学嵌入式3组合声学特征和嵌入的传统声学特征2对最近的地址挑战数据集1的语音的三种方法的性能和概括性。我们发现，虽然基于功能的方法具有更高的精度，但依赖于嵌入式和功能的组合的分类方法证明具有更高，更平衡的性能，跨多个度量的性能。我们使用这种组合方法的最佳型号优于挑战中的声学基线2.8。

MPC-BERT: A Pre-Trained Language Model for Multi-Party Conversation Understanding Authors Jia Chen Gu, Chongyang Tao, Zhen Hua Ling, Can Xu, Xiubo Geng, Daxin Jiang 最近，多方对话MPC的各种神经模型已经令人印象深刻地改进了各种任务，例如接收人识别，扬声器识别和响应预测。然而，这些现有的MPC方法通常代表对话者和话语单独，忽略MPC中固有的复杂结构，这可以提供关键的对话者和话语语义，并增强对话理解过程。为此，我们提出了MPC BERT，这是一个预先训练的模型，用于MPC了解，考虑了学习，他说谁在统一模型中，具有几个精制的自我监督任务。特别地，这些任务通常可以分类为1个交错结构建模，包括对话语识别，相同的扬声器搜索和指针一致性区别的回复，以及包括屏蔽共享话语恢复和共享节点检测的2个话语语义建模。我们在三个下游任务中评估MPC BERT，包括收纳识别，扬声器识别和响应选择。实验结果表明，MPC BERT通过大幅边缘优于先前的方法，并在两个基准测试中实现了所有三个下游任务的新技术。

BERT meets LIWC: Exploring State-of-the-Art Language Models for Predicting Communication Behavior in Couples' Conflict Interactions Authors Jacopo Biggiogera, George Boateng, Peter Hilpert, Matthew Vowels, Guy Bodenmann, Mona Neysari, Fridtjof Nussbeck, Tobias Kowatsch 心理学中的许多过程都很复杂，例如两个互动伴侣之间的二元相互作用。患者治疗师，亲密关系合作伙伴。尽管如此，许多关于互动的基本问题很难调查，因为Dyadic进程可以在一个人内和合作伙伴之间，他们基于行为的多模式方面，迅速展开。目前的分析主要基于行为编码方法，由此人类编码器基于编码模式注释行为。但是编码是劳动密集型，昂贵，慢，焦点少数码头。心理学的目前的方法使用LIWC分析夫妻相互作用。然而，诸如BERT的自然语言处理的进步可以使系统的发展成为可能自动化的行为编码，这反过来可能会显着改善心理研究。在这项工作中，我们培训机器学习模型，在使用ovensmile的语言特征和级语言特征的尺寸10秒序列上的8分钟冲突相互作用期间，自动预测368德语瑞士夫妇的正负通信行为码。我们的结果表明，TF IDF功能更简单，更复杂的BERT功能比LIWC更好，而添加Paralinguistic功能并未提高性能。这些结果表明它可能是时候考虑了LIWC的现代替代品，心理学中的事实上的语言特征，为夫妻研究中的预测任务。这项工作是迈向夫妻行为的自动编码的另一个步骤，该行为可以增强夫妇研究和治疗，并用于其他二元相互作用。

"You made me feel this way": Investigating Partners' Influence in Predicting Emotions in Couples' Conflict Interactions using Speech Data Authors George Boateng, Peter Hilpert, Guy Bodenmann, Mona Neysari, Tobias Kowatsch 在冲突期间，浪漫的合作伙伴如何相互互动，影响他们在互动结束时的感受，并预测合伙人是否长期保持在一起。因此，了解每个伴侣的情绪很重要。然而，使用的目前的方法包括自我报告，其是繁重的，因此限制了该数据收集的频率。自动情感预测可以解决这一挑战。心理学研究的见解表明，合作伙伴行为在冲突互动中彼此影响彼此的情绪，因此可以考虑更好地预测每个合作伙伴的情感。但是，尚未调查如何在情绪预测性能方面使用每个伙伴自己的行为。在这项工作中，我们使用BERT提取语言特征，即合作伙伴说和开放的是提取Paralinguistic功能，即他们如何从368德语瑞士夫妇N 736个人中所说的数据集，这在8分钟冲突互动期间录像。在实验室。根据这些功能，我们培训了机器学习模型，预测合作伙伴在冲突互动后迎接积极或负面。我们的结果表明，包括其他合作伙伴的行为提高了预测性能。此外，对于男性来说，考虑到他们的女性合作伙伴如何讲话是最重要的，并且对于妇女而言，考虑到他们的男性伴侣所说的是在获得更好的预测性能方面最重要的事情。这项工作是基于两者的行为自动识别每个合作伙伴情绪的一步，这将使更好地了解研究，治疗和现实世界的夫妇。

Dissecting Generation Modes for Abstractive Summarization Models via Ablation and Attribution Authors Jiacheng Xu, Greg Durrett 尽管神经抽象摘要模型的突出，但我们对他们如何实际形成摘要以及如何理解他们的决定来自于他们的决定。我们提出了一种解释摘要模型决策的两步方法。我们首先通过烧蚀整个模型来分析模型的行为，以大致将每个解码器决定分类为几种代码模式之一，是模型表现类似于语言模型，它是依赖于输入的依赖，或者在隔离后的某个地方。依赖于输入的决策，我们探讨使用几种不同的归因方法来解释这些决定。我们基于它们选择内容的能力来比较这些技术，并从输入的扰动中选择模型S预测令牌，从而揭示突出显示的属性是否对于生成下一个令牌来说是真正重要的。虽然这种机器甚至超越总结了，但我们特别展示其识别短语的能力摘要模型已经记住并确定训练流水线在该记忆发生的地方，以及根据每种实例的句子融合等复杂的发电现象。 。

Knowing More About Questions Can Help: Improving Calibration in Question Answering Authors Shujian Zhang, Chengyue Gong, Eunsol Choi 我们研究了校准问题，估算模型是否正确预测每个问题的答案。与主要依赖于模型S信心评分的事先工作不同，我们的校准器包含有关输入示例的信息。，问题和证据背景。通过背部翻译以及数据增强，我们的简单方法在阅读理解基准上实现了校准准确性的510次增益。此外，我们在开放检索设置中介绍了第一个校准研究，比较了基于检索的跨度预测模型的校准精度和应答生成模型。在这里，我们的方法再次显示依赖模型信心的校准器的一致收益。我们简单高效的校准器可以轻松调整到许多任务和模型架构，在所有设置中显示了强大的收益。

MedNLI Is Not Immune: Natural Language Inference Artifacts in the Clinical Domain Authors Christine Herlihy, Rachel Rudinger 已发现CrowdWorker构造的自然语言推理NLI数据集包含与注释过程相关的统计伪像，允许假设的分类器比随机性能POLIAK等人更好地实现。，2018 Gururanganet等，2018年Tsuchiya，2018。我们调查了Mednli是否是从临床票据中提取的房屋的医生注释数据集，其中包含了罗马诺夫和2018年的伪影。我们发现需要的假设包含前提中的特定概念的通用版本，以及与响应性，持续时间和概率相关的修饰符。中立假设功能条件和行为，包括在前提下的条件。矛盾假设通过良好健康的主张来特征明确否定前提和隐性否定。对手过滤证明在困难的子集上评估时性能降低。我们为知识密集型域的替代数据集施工策略提供分区信息和建议。

Evaluating the Efficacy of Summarization Evaluation across Languages Authors Fajri Koto, Jey Han Lau, Timothy Baldwin 虽然为英语开发的自动摘要评估方法经常应用于其他语言，但这是第一次系统地量化它们的松动效能。我们为八种不同语言进行摘要语料库，并手​​动注释对聚焦精度和覆盖召回的生成摘要。基于此，我们评估了19个概述评估指标，并发现在BertScore内使用多语言BERT在所有语言中表现良好，以高于英语的级别。

Ethical-Advice Taker: Do Language Models Understand Natural Language Interventions? Authors Jieyu Zhao, Daniel Khashabi, Tushar Khot, Ashish Sabharwal, Kai Wei Chang 是否可以使用自然语言来介入模型的行为，并以期望的方式改变其预测，我们调查自然语言干预措施对阅读理解系统的有效性，在社会刻板印象的背景下研究这一点。具体而言，我们提出了一种新的语言理解任务，语言伦理干预雷，目标是通过向其传播背景特定的伦理和权益来修改QA模型的不道德行为的问题。为此，我们建立了最近的方法，用于量化系统的社会刻板印象，以不同种类的道德干预和所需的模型行为在这种干预中增加它们。我们的零射击评估发现，即使是今天的强大神经语言模型也是极其贫困的道德建议，即他们尽管这些干预措施被称为简单的句子，但它们令人惊讶地对道德干预令人惊讶地对道德的干预措施令人惊讶地对道德的干预措施令人惊讶地对道德的干预措施令人惊讶地少。很少拍摄学习改善了模型行为，但仍然远离所需结果，特别是在评估各种类型的泛化时。因此，我们的新任务为社区构成了一种新颖的语言理解挑战。

Lightweight Adapter Tuning for Multilingual Speech Translation Authors Hang Le, Juan Pino, Changhan Wang, Jiatao Gu, Didier Schwab, Laurent Besacier 最近将适配器模块作为NLP中的微调的有效替代品。适配器调整包括冻结型号的灰度净化参数并在图层之间注入轻量级模块，从而仅增加少量任务特定的培训参数。虽然调查了适配器调整以进行多语种神经机翻译，但本文提出了对多语言语音翻译ST的适配器综合分析。从不同的预训练模型开始，在并行数据上培训的多语种ST培训或在非并行多语言数据上培训的多语言BART MBART，我们表明适配器可用于有效地专用ST到特定语言对，在参数方面具有低额外的成本。 B和B从自动语音识别ASR任务和MBart预训练模型转移到多语言ST任务。实验表明，适配器调整为全部微调提供竞争力的结果，同时更有参数高效。

BERT-Defense: A Probabilistic Model Based on BERT to Combat Cognitively Inspired Orthographic Adversarial Attacks Authors Yannik Keller, Jan Mackensen, Steffen Eger 对抗性攻击暴露了深度学习系统的重要盲点。虽然单词和句子级攻击方案主要处理愚蠢的输入的发现语义释义，但是字符级别攻击通常将拼写错误插入到输入流中。通常认为这些更容易通过拼写校正模块来防御。在这项工作中，我们表明标准拼写检查器和Pruthi等人的方法。 2019年，该列车在eger和奔驰2020中提出的最近提出的字符级基准上抵御插入，删除和交换的列车，该培训包括更具挑战性的攻击，例如视觉和语音扰动和缺少字分割。相比之下，我们表明，将上下文独立字符级别信息与来自BERT S Masked语言建模的上下文相关信息相结合的未训练的迭代方法可以与来自亚马逊机械土耳其AMT的人类人群工人进行监督，通过3拍摄学习。

Attention-based Contextual Language Model Adaptation for Speech Recognition Authors Richard Diehl Martinez, Scott Novotney, Ivan Bulyko, Ariya Rastrow, Andreas Stolcke, Ankur Gandhe 用于自动语音识别ASR的语言建模LM通常不包含话语级别上下文信息。然而，对于像语音助手这样的一些域，其他上下文，例如说话的时间，提供了丰富的输入信号。我们介绍了在文本和非语言上下文数据上培训神经语音识别语言模型的关注机制。当应用于由流行的语音助理平台收集的话语的大型DE识别的数据集时，我们的方法通过不包含上下文信息的标准LM来减少7.0的困惑。当从数据集的长尾提取的话语中评估时，当与上下文LM的最新模型相比，我们的方法在标准LM相对于标准LM相对于标准LM和超过2.8相对而提高了9.0的困惑。

SMURF: SeMantic and linguistic UndeRstanding Fusion for Caption Evaluation via Typicality Analysis Authors Joshua Feinglass, Yezhou Yang 视觉标题的开放性质使其成为评估的具有挑战性的区域。大多数拟议模型依赖于专业培训来改善人类关联，导致采用有限，普遍性和解释。我们介绍了典型的评价制定，源于信息理论，这非常适合缺乏明确的实践的问题。典型性是我们的框架，以开发一种新颖的语义比较，SPARC，以及可转让的流畅评估度量。在我们的分析过程中，由公制刺激和语法捕获的两种单独的流利程度自然出现的风格，以语法异常罚款的形式捕获。通过对基准数据集的广泛实验和消融研究，我们展示了这些语义和流畅程度的这些分解维度如何为标题器差异提供更大的系统级别。我们拟议的指标与他们的组合，SMURF，与基于其他规则的评估指标相比，与人为判断的最新关系。

LyricJam: A system for generating lyrics for live instrumental music Authors Olga Vechtomova, Gaurav Sahu, Dhruv Kumar 我们描述了一个实时系统，从JAM会话接收实时音频流，并生成与正在播放的现场音乐一致的抒情线。提出了两种新方法，以对准音频和文本表示的学习潜在空间，使系统能够生成符合实时乐器音乐的新颖歌词线。一种方法是基于音频和歌词的潜在表示的对抗对齐，而另一个方法学会将从音乐潜空间转移到抒情潜空间的拓扑。使用该系统的音乐艺术家的用户学习表明，该系统不仅在抒情组合中有用，而且还鼓励艺术家即兴创作和寻找新的音乐表达。另一个用户学习证明了用户优选使用所提出的方法生成的线，以基线模型生成的线。

An Improved Model for Voicing Silent Speech Authors David Gaddy, Dan Klein 在本文中，我们提出了一种改进的语音语音模型，其中音频由面部电型EMG信号合成。为了使我们的模型更灵活地了解自己的输入功能，我们直接使用EMG信号作为事先工作所使用的手工设计功能的输入。我们的模型使用卷积层来提取信号和变压器层的特征，以在更长的距离上传播信息。为了提供更好的学习信号，除了预测语音音频功能之外，我们还引入了预测音素标签的辅助任务。在开放的词汇可智能评估上，我们的模型通过绝对25.8改善了本任务的最新状态。

E2E-VLP: End-to-End Vision-Language Pre-training Enhanced by Visual Learning Authors Haiyang Xu, Ming Yan, Chenliang Li, Bin Bi, Songfang Huang, Wenming Xiao, Fei Huang Vision Language在大规模图像文本对上进行VLP对跨模型下游任务取得了巨大成功。最现有的预训练方法主要采用两步训练程序，首先采用预训练的对象检测器来提取基于区域的视觉特征，然后将图像表示和嵌入的图像表示和文本嵌入为培训的变压器的输入。然而，这些方法面临使用任务特定的特定对象检测器的特定视觉表示进行通用跨模型理解的问题，以及两个阶段管道的计算效率。在本文中，我们提出了第一端到最终视觉语言预训练模型，用于v l了解和生成，即E2E VLP，在那里我们构建一个统一的变压器框架，以共同学习视觉表示，并在图像和文本之间进行语义对齐。我们将物体检测和图像标题的任务纳入预训练中，通过统一的变压器编码器解码器架构来增强视觉学习。已经在熟悉的视觉语言下游任务上进行了广泛的实验，以证明这部小型VLP范例的有效性。

EmoDNN: Understanding emotions from short texts through a deep neural network ensemble Authors Sara Kamran, Raziyeh Zall, Mohammad Reza Kangavari, Saeid Hosseini, Sana Rahmani, Wen Hua 通过社交网络表现出的情绪和个人的观点的潜在知识对于许多应用程序，包括社会管理，动态过程和公共安全的众多申请至关重要。作为跨学科研究领域的情感计算，将人工智能联系到认知推论，能够从简短的内容中利用情绪导向知识。文本内容传达了关于可以确定用户之间的相关性和变体的相应作者等人格和认知的隐藏信息。从简短内容的情感认可应该接受作者之间的对比，其中人格和认知的差异可以在情绪表达中追踪。为了解决这一挑战，我们设计了一个框架，一方面，一方面，从简短的内容，一方面，从简短的内容中提出一个具有动态辍学句容的新型集合分类器，以从文本上下文中提取情绪。要对短文本内容进行分类，我们的建议方法结合利用认知因素并利用隐藏信息。我们利用新型嵌入模型中的结果向量，以促进由词典辅助集体组装的情绪相关特征。实验结果表明，与其他竞争对手相比，我们所提出的模型可以达到从嘈杂内容的识别情绪的表现更高。

Grounding Complex Navigational Instructions Using Scene Graphs Authors Michiel de Jong, Satyapriya Krishna, Anuva Agarwal 培训钢筋学习代理进行自然语言指示受到可用监督的限制，即知道指令的实施。我们调整Clevr视觉问题应答DataSet以生成复杂的自然语言导航指令和随附的场景图，产生了一个环境不可知的监督数据集。为了演示使用此数据集的使用，我们将场景映射到VizDoom环境，并使用Citet GateTittent中的体系结构培训代理商执行这些更复杂的语言指令。

CitationIE: Leveraging the Citation Graph for Scientific Information Extraction Authors Vijay Viswanathan, Graham Neubig, Pengfei Liu 自动从科学文件中提取关键信息有可能帮助科学家更有效地工作，并加快科学进步的步伐。事先工作已考虑提取文件级实体集群和关系结束从原始科学文本结束，这可以改善文献搜索，并帮助确定给定问题的方法和材料。尽管这项任务的重要性，但大多数现有的科学信息提取工程SCIIE仅根据个人纸张的内容考虑提取，而不考虑在更广泛的文献中的纸张占地面积。与事先工作相比，我们通过利用互补的文档背景来增强我们的文本表示，引用和引用论文之间的参照链路的引文图。在一组英语语言科学文档上，我们表明利用引文图的结构和内容的简单方法可以各自导致不同的科学信息提取任务中的显着提升。当这些任务组合时，我们遵守最终信息提取到最新的最终信息提取，这表明未来工作沿着这个方向的潜力。我们释放软件工具，以方便引用意识的Sciie开发。

Luna: Linear Unified Nested Attention Authors Xuezhe Ma, Xiang Kong, Sinong Wang, Chunting Zhou, Jonathan May, Hao Ma, Luke Zettlemoyer 变压器S注意机构的二次计算和内存复杂性限制了其用于建模长序列的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，近似于嵌套线性关注功能，只能与二次时间和空间复杂性相反的线性。具体地，通过第一个注意功能，LUNA将输入序列包装成一个固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地执行注意操作，同时还存储足够的上下文信息。我们对序列建模任务的三个基准进行了广泛的评估，长上下文序列建模，神经电脑平移和屏蔽语言建模，用于大规模预制。竞争甚至更好的实验结果表明，与品种相比Luna的有效性和效率

Quantifying language changes surrounding mental health on Twitter Authors Anne Marie Stupinski, Thayer Alshaabi, Michael V. Arnold, Jane Lydia Adams, Joshua R. Minot, Matthew Price, Peter Sheridan Dodds, Christopher M. Danforth 心理健康挑战被认为折磨每年全球人口的10个大约10人，由于耻辱和对服务的有限有限，许多人不受治持。在这里，我们通过从2012年以来的大约10个中英语推文中的数据流中解析了1,2和3克与心理健康有关的单词和短语的趋势。我们检查心理健康语言的时间动态，发现术语心理健康的普及在2012年和2018年之间提高了近两个数量级。我们观察到每年和可靠的精神健康飙升，因为心理健康意识运动，以及不可预测的群众枪击事件，名人死亡自杀，流行的虚构故事描绘自杀。我们发现，含有心理健康的信息的积极性，虽然通过增长期限稳定，但最近下降了。最后，我们使用原始推文的比率来转发，以量化由于社会放大而定量心理健康语言的表现。自2015年以来，提到心理健康状况越来越多地因转派而越来越多地越来越多，暗示与Twitter上的心理健康讨论有关的耻辱已经随着时间的推移而减少。

Learning to Select: A Fully Attentive Approach for Novel Object Captioning Authors Marco Cagrandi, Marcella Cornia, Matteo Stefanini, Lorenzo Baraldi, Rita Cucchiara 在应用于标准数据集时，图像标题模型最近显示了令人印象深刻的结果。然而，切换到现实生活方案构成了由于现有培训集中未涵盖的各种视觉概念而导致的挑战。因此，新颖的对象标题NOC最近被出现为范例，以测试在训练阶段看不见的对象上的标题模型。在本文中，我们提出了一种新的NOC方法，了解要选择图像的最相关的对象，无论其遵守训练集，并相应地约束语言模型的生成过程。我们的架构完全关注并结束了最终培训，也在结合限制时。我们在举行的Coco DataSet上执行实验，在那里我们展示了对本领域技术的改进，无论是对新的对象和标题质量的适应性。

A Preliminary Study of a Two-Stage Paradigm for Preserving Speaker Identity in Dysarthric Voice Conversion Authors Wen Chin Huang, Kazuhiro Kobayashi, Yu Huai Peng, Ching Feng Liu, Yu Tsao, Hsin Min Wang, Tomoki Toda 我们提出了一种新的范例，用于维护发狂语音转换DVC中的扬声器标识。统计VC可以大大提高缺陷言论的差，但随着讨厌的患者的正常语音话语几乎不可能收集，之前的工作未能恢复患者的个性。鉴于此，我们建议一种新颖，两级DVC方法，这在非常灵活的情况下，不需要患者的正常语音。首先，序列模型的强大并行序列将输入的发育序列转换为参考扬声器的正常语音作为中间产品，并且使用变化性AutiaceCoder实现的非平行框架明智的VC模型，然后转换回文章的扬声器标识为了能够保留增强质量的同时，患者的患者。我们调查了几种设计选项。实验评估结果表明，我们在维护扬声器身份的同时提高发育性言论的质量的潜力。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com