【AI视野·今日NLP 自然语言处理论文速览 第三十四期】Fri, 22 Apr 2022

AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 22 Apr 2022
Totally 47 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings Authors Yung Sung Chuang, Rumen Dangovski, Hongyin Luo, Yang Zhang, Shiyu Chang, Marin Solja i , Shang Wen Li, Wen tau Yih, Yoon Kim, James Glass 我们提出了 DiffCSE，一种用于学习句子嵌入的无监督对比学习框架。 DiffCSE 学习对原始句子和编辑句子之间的差异敏感的句子嵌入，其中编辑句子是通过随机屏蔽原始句子然后从屏蔽语言模型中采样获得的。我们证明 DiffSCE 是等变对比学习 Dangovski et al., 2021 的一个实例，它概括了对比学习并学习了对某些类型的增强不敏感但对其他有害类型的增强敏感的表示。

A Hierarchical N-Gram Framework for Zero-Shot Link Prediction Authors Mingchen Li, Junfan Chen, Samuel Mensah, Nikolaos Aletras, Xiulong Yang, Yang Ye 由于知识图谱 KGs 的不完整性，旨在预测 KGs 中未观察到的关系的零镜头链接预测 ZSLP 最近引起了研究人员的兴趣。一个常见的解决方案是使用关系的文本特征，例如表面名称或文本描述作为辅助信息，以弥合可见和不可见关系之间的差距。当前的方法为文本中的每个单词标记学习嵌入。这些方法缺乏鲁棒性，因为它们受到词汇表外OOV问题的影响。同时，基于字符 n 克的模型具有为 OOV 词生成表达表示的能力。因此，在本文中，我们提出了一个用于零镜头链接预测 HNZSLP 的分层 N Gram 框架，该框架考虑了 ZSLP 的关系表面名称的字符 n 克之间的依赖关系。我们的方法首先在表面名称上构建一个分层的 n 克图，以对导致表面名称的 n 克的组织结构进行建模。然后提出基于 Transformer 的 GramTransformer 来对分层 n gram 图进行建模，以构建 ZSLP 的关系嵌入。

Learning to Revise References for Faithful Summarization Authors Griffin Adams, Han Chin Shing, Qing Sun, Christopher Winestock, Kathleen McKeown, No mie Elhadad 在许多具有自然发生的数据集的现实世界场景中，参考摘要是嘈杂的，并且包含无法从源文本中推断出的信息。在大型新闻语料库中，去除低质量样本已被证明可以减少模型幻觉。然而，这种方法在很大程度上未经测试用于更小、更嘈杂的语料库。为了在保留所有数据的同时提高参考质量，我们提出了一种新方法来修改而不是删除不受支持的参考内容。在没有基本事实监督的情况下，我们构建了支持句子的合成无支持替代方案，并使用对比学习来阻止鼓励不忠实的修改。在推理时，我们改变样式代码以过度生成不受支持的参考句子的修订，并选择平衡忠实和抽象的最终修订。我们从嘈杂的电子健康记录 EHR 中提取一个小语料库，用于从多个笔记中总结入院情况。在原始、过滤和修订参考上训练模型，我们发现 1 从修订参考中学习比过滤 18.4 vs 3.8 显着降低了幻觉率，2 从抽象和提取修订中学习提高了连贯性、相关性和忠实度，3 超越了对嘈杂的补救

How Conservative are Language Models? Adapting to the Introduction of Gender-Neutral Pronouns Authors Stephanie Brandl, Ruixiang Cui, Anders S gaard 最近在许多语言中引入了性别中性代词，包括非二进制人，而 b 作为通用单数。心理语言学的最新结果表明，瑞典语中的性别中性代词与人类处理困难无关。我们表明，这与自动化处理形成鲜明对比。我们表明，丹麦语、英语和瑞典语中的性别中性代词与更高的困惑度、更分散的注意力模式和更差的下游性能相关。

SpaceE: Knowledge Graph Embedding by Relational Linear Transformation in the Entity Space Authors Jinxing Yu, Yunfeng Cai, Mingming Sun, Ping Li 基于平移距离的知识图嵌入 KGE 方法，例如 TransE 和 RotatE，将知识图中的关系建模为向量空间中的平移或旋转。平移和旋转都是单射的，即不同向量的平移或旋转导致不同的结果。在知识图中，不同的实体可能与同一个实体有关系，例如，许多演员在一部电影中出演。这种非内射关系模式不能通过现有的基于平移距离的 KGE 方法中的平移或旋转操作很好地建模。为了应对这一挑战，我们提出了一种基于平移距离的 KGE 方法，称为 SpaceE，将关系建模为线性变换。所提出的 SpaceE 将实体和关系都嵌入到知识图中作为矩阵，并且 SpaceE 自然地对具有奇异线性变换的非单射关系进行建模。我们从理论上证明 SpaceE 是一个完全表达模型，能够推断出多种所需的关系模式，包括对称性、偏斜对称性、反转、阿贝尔合成和非阿贝尔合成。链接预测数据集的实验结果表明，SpaceE 大大优于许多以前的基于翻译距离的知识图嵌入方法，尤其是在具有许多非单射关系的数据集上。

Re-Examining System-Level Correlations of Automatic Summarization Evaluation Metrics Authors Daniel Deutsch, Rotem Dror, Dan Roth 自动摘要评估指标复制人类对摘要质量判断的可靠性由系统级相关性量化。我们确定了系统级相关性的定义与实践中使用度量标准评估系统的方式不一致的两种方式，并提出了改变以纠正这种脱节。首先，我们使用完整的测试集而不是人类判断的摘要子集来计算自动度量的系统分数，这是目前的标准做法。我们展示了这种微小的变化如何导致对系统级相关性的更精确估计。其次，我们建议仅在由实践中常见的自动分数的微小差异分隔的系统对上计算相关性。这使我们能够证明，在现实场景中，我们对 ROUGE 与人类判断的相关性的最佳估计接近 0。

Benchmarking Answer Verification Methods for Question Answering-Based Summarization Evaluation Metrics Authors Daniel Deutsch, Dan Roth 基于问答的总结评估指标必须自动确定 QA 模型的预测是否正确，这一任务称为答案验证。在这项工作中，我们对当前基于 QA 的指标使用的词汇答案验证方法以及两种更复杂的文本比较方法 BERTScore 和 LERC 进行了基准测试。我们发现 LERC 在某些设置中优于其他方法，而在其他设置中与词汇重叠在统计上无法区分。然而，我们的实验表明，改进的验证性能并不一定转化为基于 QA 的整体度量质量。在某些情况下，使用更差的验证方法或根本不使用与使用最佳验证方法具有可比性的性能，我们将结果归因于属性

Unsupervised Numerical Reasoning to Extract Phenotypes from Clinical Text by Leveraging External Knowledge Authors Ashwani Tanwar, Jingqing Zhang, Julia Ive, Vibhor Gupta, Yike Guo 从临床文本中提取表型已被证明可用于各种临床用例，例如识别患有罕见疾病的患者。然而，数值推理对于临床文本中的表型分析仍然具有挑战性，例如，温度 102F 代表发烧。当前最先进的表型模型能够检测一般表型，但在检测需要数值推理的表型时表现不佳。我们提出了一种新颖的无监督方法，利用来自 ClinicalBERT 的外部知识和上下文化词嵌入，在各种表型上下文中进行数值推理。与无监督基准相比，它显示出显着的性能改进，广义召回和 F1 分数的绝对增益分别高达 79 和 71。

Usage-based learning of grammatical categories Authors Luc Steels, Paul Van Eecke, Katrien Beuls 人类语言使用广泛的语法类别来限制哪些单词或短语可以填充语法模式中的某些位置，并通过形态句法手段表达其他含义，例如时态或方面。这些语法类别通常是特定于语言并随着时间而变化的，很难定义和学习。本文提出了如何获得这些类别以及它们来自何处的问题。我们探索了一种基于使用的方法。这意味着类别和语法结构是根据它们在语言交互中的成功来选择和对齐的。我们报告了一个多智能体实验，其中智能体被赋予了理解和产生话语的机制，以及使用基于赞成和反对统一的元级学习过程来扩展其库存的机制。

Context-Aware Language Modeling for Goal-Oriented Dialogue Systems Authors Charlie Snell, Sherry Yang, Justin Fu, Yi Su, Sergey Levine 面向目标的对话系统面临流利的语言生成和任务特定控制之间的权衡。虽然使用大型语言模型的监督学习能够生成逼真的文本，但如何在不牺牲语言质量的情况下引导这些响应完成特定任务仍然是一个悬而未决的问题。在这项工作中，我们将面向目标的对话制定为部分观察到的马尔可夫决策过程，将语言模型解释为动态和策略的表示。这种观点使我们能够扩展基于学习的控制技术，例如任务重新标记，以推导出一种简单有效的方法来以目标感知方式微调语言模型，从而显着提高任务性能。我们还引入了一些训练策略，这些策略可以更好地将模型集中在手头的任务上。我们在使用 AirDialogue 的实际航班预订任务中评估我们的方法 Context Aware Language Models CALM。

Multimodal Hate Speech Detection from Bengali Memes and Texts Authors Md. Rezaul Karim, Sumon Kanti Dey, Tanhim Islam, Bharathi Raja Chakravarthi 已经提出了许多工作来使用机器学习 ML 和深度学习 DL 技术来利用来自社交媒体的文本数据进行反社会行为分析，例如网络欺凌、假新闻传播和仇恨言论，主要针对英语等资源丰富的语言。然而，尽管有很多多样性和数百万母语人士，但孟加拉语等一些语言资源不足，这是由于缺乏自然语言处理 NLP 的计算资源。与英语一样，孟加拉语社交媒体内容也包括图像和文本，例如，通过将短文本嵌入 Facebook 上的图像来发布多模式内容，仅文本数据不足以判断它们，例如确定它们是仇恨言论。在这些情况下，图像可能会提供额外的上下文来正确判断。本文是关于从多模态孟加拉语模因和文本中检测仇恨言论的。我们为孟加拉语的一种问题准备了唯一的多模态仇恨言论检测数据集1。我们训练了几种神经架构，即神经网络，如带有词嵌入的 Bi LSTM Conv LSTM，EfficientNet 转换器架构，如单语孟加拉语 BERT、多语种 BERT 无大小写，以及 XLM RoBERTa 联合分析文本和视觉信息以进行仇恨言论检测。 Conv LSTM 和 XLM RoBERTa 模型在文本上表现最好，分别产生 0.78 和 0.82 的 F1 分数。就 meme 而言，ResNet152 和 DenseNet201 模型的 F1 分数分别为 0.78 和 0.7。 mBERT uncased EfficientNet B1 的多模态融合表现最好，F1 得分为 0.80。

IIITDWD-ShankarB@ Dravidian-CodeMixi-HASOC2021: mBERT based model for identification of offensive content in south Indian languages Authors Shankar Biradar, Sunil Saumya 近年来，攻击性内容备受关注。社交媒体产生的攻击性内容的数量正在以惊人的速度增长。这比以往任何时候都更需要解决这个问题。为了解决这些问题，Dravidian Code Mixed HASOC 2020 的组织者提出了两个挑战。任务 1 涉及识别马拉雅拉姆语数据中的冒犯性内容，而任务 2 包括马拉雅拉姆语和泰米尔语混合句子。我们的团队参与了任务 2。在我们建议的模型中，我们尝试使用多语言 BERT 来提取特征，并且在提取的特征上使用了三个不同的分类器。

Semantic Structure based Query Graph Prediction for Question Answering over Knowledge Graph Authors Mingchen Li, Jonathan Shihao Ji 从自然语言问题构建查询图是在知识图 Complex KGQA 上进行复杂问答的重要步骤。一般来说，如果正确构建了查询图，则可以正确回答问题，然后通过针对 KG 发出查询图来检索正确答案。因此，本文重点关注自然语言问题的查询图生成。现有的查询图生成方法忽略了问题的语义结构，导致大量嘈杂的查询图候选者破坏了预测的准确性。在本文中，我们从 KGQA 中的常见问题中定义了六种语义结构，并开发了一种新的结构 BERT 来预测问题的语义结构。通过这样做，我们可以首先通过预测的语义结构过滤掉嘈杂的候选查询图，然后使用基于 BERT 的排名模型对剩余的候选者进行排名。

Residue-Based Natural Language Adversarial Attack Detection Authors Vyas Raina, Mark Gales 基于深度学习的系统容易受到对抗性攻击，其中输入的微小、难以察觉的变化会改变模型预测。然而，迄今为止，大多数检测这些攻击的方法都是为图像处理系统设计的。许多流行的图像对抗检测方法能够从嵌入特征空间中识别对抗样本，而在 NLP 领域，现有的最先进的检测方法只关注输入文本特征，而不考虑模型嵌入空间。这项工作检查了将这些图像设计策略移植到自然语言处理 NLP 任务时会产生什么差异，这些检测器被发现不能很好地移植。这是意料之中的，因为 NLP 系统本质上具有非常不同形式的输入离散和顺序，而不是图像的连续和固定大小的输入。作为一种以等效模型为中心的 NLP 检测方法，这项工作提出了一种简单的基于句子嵌入残差的检测器来识别对抗性示例。

Investigating User Radicalization: A Novel Dataset for Identifying Fine-Grained Temporal Shifts in Opinion Authors Flora Sakketou, Allison Lahnala, Liane Vogel, Lucie Flek 随着对潜在的两极分化社会影响的担忧增加，对社交媒体用户的细粒度意见转变建模的能力越来越需要。然而，缺乏适合该任务的公开可用数据集是一项重大挑战。在本文中，我们介绍了一个创新的注释数据集，用于建模细微的意见波动和检测细粒度的立场。该数据集包括每个用户随时间推移和整个会话线程中足够数量的立场极性和强度标签，因此可以在长期和短期内检测到细微的意见波动。所有帖子都由非专家注释，并且很大一部分数据也由专家注释。我们提供招聘合适的非专家的策略。我们对注释者间协议的分析表明，从非专家的多数投票中获得的注释与专家的注释具有可比的质量。

Neural Topic Modeling of Psychotherapy Sessions Authors Baihan Lin, Djallel Bouneffouf, Guillermo Cecchi, Ravi Tejwani 在这项工作中，我们比较了不同的神经主题建模方法，以从语音记录中解析的心理治疗会话记录中学习不同精神疾病的主题倾向。我们还结合了时间建模，通过将主题相似性解析为回合级别分辨率中的时间序列，将这种额外的可解释性付诸行动。

Social Media Sentiment Analysis for Cryptocurrency Market Prediction Authors Ali Raheman, Anton Kolonin, Igors Fridkins, Ikram Ansari, Mukul Vishwas 在本文中，我们以加密货币领域为参考，探讨了不同自然语言处理模型在应用于金融市场预测的社交媒体情感分析中的可用性。我们研究了不同的情绪指标如何与比特币的价格走势相关联。为此，我们探索了不同的方法来从文本中计算情感指标，发现其中大多数指标对于该预测任务来说不是很准确。我们发现其中一个模型的性能优于其他 20 多个公共模型，并且鉴于其可解释性，可以有效地对其进行微调。因此，我们确认可解释的人工智能和自然语言处理方法可能比不可解释和不可解释的方法更有价值。

WordAlchemy: A transformer-based Reverse Dictionary Authors Dr. Sunil B. Mane, Harshal Patil, Kanhaiya Madaswar, Pranav Sadavarte 逆向词典将目标词的描述作为输入，并返回符合描述的词。反向词典对于新语言学习者、语言障碍患者以及解决常见的舌尖问题（lethologica）很有用。目前，不存在任何支持任何印度语言的反向词典提供程序。我们提出了一种新颖的开源跨语言反向词典系统，支持印度语言。在本文中，我们提出了一种基于 Transformer 的深度学习方法，以解决使用 mT5 模型的现有系统所面临的限制。

Doctor XAvIer: Explainable Diagnosis using Physician-Patient Dialogues and XAI Evaluation Authors Hillary Ngai, Frank Rudzicz 我们介绍了 Doctor XAvIer，这是一个基于 BERT 的诊断系统，它从转录的患者医生对话中提取相关临床数据，并使用特征归因方法解释预测。我们提出了一种新颖的性能图和特征归因方法的评估指标 Feature Attribution Dropping FAD 曲线及其曲线下的归一化面积 N AUC 。 FAD 曲线分析表明，积分梯度在解释诊断分类方面优于 Shapley 值。

Probing Script Knowledge from Pre-Trained Models Authors Zijian Jin, Xingyu Zhang, Mo Yu, Lifu Huang 脚本知识对于人类理解世界上广泛的日常任务和日常活动至关重要。最近，研究人员探索了大规模预训练语言模型 PLM 来执行各种与脚本相关的任务，例如故事生成、事件的时间排序、未来事件预测等。但是，就 PLM 捕获脚本知识的能力而言，它仍然没有得到很好的研究。为了回答这个问题，我们设计了三个探测任务，包括子事件选择、启动子事件选择和时间排序，以研究 PLM 的功能，无论是否进行微调。在给定所有可能的子事件的情况下，这三个探测任务可以进一步用于为每个主事件自动生成一个脚本。以 BERT 为例，通过分析其在脚本归纳以及每个单独的探测任务上的表现，我们得出结论，在 BERT 中很好地捕获了子事件之间的刻板时间知识，但包含或起始子事件知识几乎没有编码

OTExtSum: Extractive Text Summarisation with Optimal Transport Authors Peggy Tang, Kun Hu, Rui Yan, Lei Zhang, Junbin Gao, Zhiyong Wang 提取文本摘要旨在从文档中选择突出的句子以形成简短但信息丰富的摘要。虽然基于学习的方法取得了可喜的成果，但它们有一些局限性，例如依赖昂贵的培训和缺乏可解释性。因此，在本文中，我们提出了一种新的基于非学习的方法，首次将文本摘要公式化为最优传输 OT 问题，即最优传输提取摘要 OTExtSum。最佳句子提取被概念化为获得最佳摘要，以最小化给定文档关于其语义分布的运输成本。这样的成本由 Wasserstein 距离定义，用于衡量摘要对原始文档的语义覆盖率。

Identifying and Characterizing Active Citizens who Refute Misinformation in Social Media Authors Yida Mu, Pu Niu, Nikolaos Aletras 错误信息在社交媒体中传播的现象已经形成了一种新形式的积极公民，他们专注于通过驳斥可能包含错误信息的帖子来解决问题。自动识别和表征这些活跃公民在社交媒体中的行为是计算社会科学中的一项重要任务，以补充错误信息分析的研究。在本文中，我们首次在不同的社交媒体平台（即 Twitter 和微博）以及语言（即英语和中文）上研究了这项任务。为此，1 我们开发并公开了一个新的微博用户数据集，该数据集映射到两个类别之一，即错误信息发布者或活跃公民 2 我们在新的微博数据集和现有的 Twitter 数据集上评估了一系列监督模型

SemEval-2022 Task 2: Multilingual Idiomaticity Detection and Sentence Embedding Authors Harish Tayyar Madabushi, Edward Gow Smith, Marcos Garcia, Carolina Scarton, Marco Idiart, Aline Villavicencio 本文介绍了多语言惯用性检测和句子嵌入的共享任务，它由两个子任务组成，一个是二进制分类，一个旨在识别句子是否包含惯用表达，另一个是基于语义文本相似性的任务，需要模型充分表示潜在的语境中的惯用表达。每个子任务包括关于训练数据量的不同设置。除了任务描述外，本文还介绍了英语、葡萄牙语和加利西亚语的数据集及其注释过程、评估指标以及参与者系统及其结果的摘要。

Standing on the Shoulders of Giant Frozen Language Models Authors Yoav Levine, Itay Dalmedigos, Ori Ram, Yoel Zeldes, Daniel Jannai, Dor Muhlgay, Yoni Osin, Opher Lieber, Barak Lenz, Shai Shalev Shwartz, Amnon Shashua, Kevin Leyton Brown, Yoav Shoham 巨大的预训练语言模型 LM 在各种任务中表现出令人惊讶的出色零射击能力。这就产生了一个单一的、多功能的模型的吸引人的愿景，该模型在不同的应用程序中具有广泛的功能。然而，当前用于利用冻结 LM 的领先技术，即保持其权重不变，仍然常常不如以任务相关方式修改这些权重的微调方法。反过来，这些人会健忘并损害多功能性，这表明在性能和多功能性之间进行权衡。本文的主要信息是，当前的冻结模型技术（例如快速调整）只是冰山一角，利用冻结 LM 的更强大的方法可以在具有挑战性的领域中进行微调，而不会牺牲底层模型的多功能性.为了证明这一点，我们介绍了三种利用冻结模型输入依赖提示调整、冻结阅读器和递归 LM 的新方法，每种方法都大大改进了当前的冻结模型方法。事实上，我们的一些方法甚至在目前由后者主导的领域中优于微调方法。每种方法的计算成本都高于现有的冻结模型方法，但相对于单次通过一个巨大的冻结 LM 仍然可以忽略不计。这些方法中的每一种本身都构成了有意义的贡献，但通过将这些贡献放在一起，我们旨在让读者相信一个更广泛的信息，该信息超出了任何给定方法的细节，即冻结模型具有未开发的潜力，并且通常进行微调

TEAM-Atreides at SemEval-2022 Task 11: On leveraging data augmentation and ensemble to recognize complex Named Entities in Bangla Authors Nazia Tasnim, Md. Istiak Hossain Shihab, Asif Shahriyar Sushmit, Steven Bethard, Farig Sadeque 许多领域，例如生物和医疗领域、艺术作品和组织名称，都有嵌套、重叠、不连续的实体提及，在实践中甚至可能在句法或语义上模棱两可。传统的序列标记算法无法识别这些复杂的提及，因为它们可能违反建立序列标记方案的假设。在本文中，我们描述了我们对 SemEval 2022 任务 11 关于识别此类复杂命名实体的贡献。我们利用了多个基于 ELECTRA 的模型的集合，这些模型专门在孟加拉语上进行了预训练，并具有基于 ELECTRA 的模型在英语上预训练的性能，以在 Track 11 上实现具有竞争力的性能。除了提供系统描述外，我们还将展示以下结果

Recovering Patient Journeys: A Corpus of Biomedical Entities and Relations on Twitter (BEAR) Authors Amelie W hrl, Roman Klinger 医学领域的文本挖掘和信息提取专注于研究人员生成的科学文本。然而，他们对个体患者体验或患者医生互动的直接访问可能受到限制。例如，患者及其亲属在社交媒体上提供的信息补充了科学文本中的知识。它反映了患者的旅程以及他们对出现症状、被诊断和提供治疗、被治愈或学习与疾病共存的过程的主观看法。因此，这类数据的价值是双重的。首先，它可以直接访问人们的观点。其次，它可能涵盖其他地方没有的信息，包括自我治疗或自我诊断。命名实体识别和关系提取是结构化非结构化文本中可用信息的方法。然而，现有的医学社交媒体语料库侧重于相对较小的一组实体和关系以及特定领域，而不是将患者置于分析的中心。在本文中，我们提供了一个具有丰富注释层的语料库，旨在更详细地揭示和模拟患者的旅程和经历。我们标记了 14 个实体类，包括。环境因素、诊断、生化过程、患者的生活质量描述、病原体、医疗条件和治疗以及 20 个关系类别，例如预防、影响、相互作用，其中大多数以前没有被考虑用于社交媒体数据。公开可用的数据集由 2,100 条推文组成，大约6,000 个实体和 3,000 个关系注释。在语料库分析中，我们发现超过 80 个文档包含相关实体。

Spurious Correlations in Reference-Free Evaluation of Text Generation Authors Esin Durmus, Faisal Ladhak, Tatsunori Hashimoto 基于模型的、无参考的评估指标已被提议作为评估自然语言生成 NLG 系统的快速且具有成本效益的方法。尽管最近的结果很有希望，但我们发现有证据表明，摘要和对话生成的参考免费评估指标可能依赖于与单词重叠、困惑度和长度等指标的虚假相关性。我们进一步观察到，对于文本摘要，这些指标在对当前最先进的抽象摘要系统进行排名时具有很高的错误率。

An Attention-Based Model for Predicting Contextual Informativeness and Curriculum Learning Applications Authors Sungjin Nam, David Jurgens, Kevyn Collins Thompson 人类和机器都通过句子中的上下文信息来学习未知单词的含义，但并不是所有的上下文都对学习有同样的帮助。我们介绍了一种有效的方法来捕捉给定目标词的上下文信息水平。我们的研究做出了三个主要贡献。首先，我们开发了用于估计上下文信息量的模型，重点关注句子的教学方面。我们使用预训练嵌入的基于注意力的方法在我们的单个上下文数据集和现有的多句子上下文数据集上展示了最先进的性能。其次，我们展示了我们的模型如何识别句子中可能最有助于读者理解目标词的关键上下文元素。第三，我们研究了最初为学生词汇学习应用程序开发的上下文信息模型，如何用于为批量学习和少量机器学习设置中的词嵌入模型开发更好的培训课程。

Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics Authors Zihan Zhang, Meng Fang, Ling Chen, Mohammad Reza Namazi Rad 最近的工作将预训练的词嵌入（例如 BERT 嵌入）整合到神经主题模型 NTM 中，生成高度连贯的主题。然而，对于高质量的上下文文档表示，我们真的需要复杂的神经模型来获得连贯和可解释的主题吗？在本文中，我们进行了彻底的实验，表明使用适当的词选择方法直接聚类高质量的句子嵌入可以生成更加连贯和多样化

A Model-Agnostic Data Manipulation Method for Persona-based Dialogue Generation Authors Yu Cao, Wei Bi, Meng Fang, Shuming Shi, Dacheng Tao 为了构建智能对话代理，人们对在生成模型中引入明确的角色越来越感兴趣。然而，由于现有的基于角色的对话数据有限，可能很难很好地训练对话生成模型。我们指出，这一生成任务的数据挑战首先在于两个方面，第二，扩展当前基于角色的对话数据集成本高昂，该任务中的每个数据样本比传统对话数据学习起来更复杂。为了缓解上述数据问题，我们提出了一种数据操作方法，该方法与模型无关，可以与任何基于角色的对话生成模型打包以提高其性能。原始训练样本将首先被蒸馏，因此预计更容易拟合。接下来，我们展示了可以使这些更容易提取的数据多样化的各种有效方法。然后将通过构建的数据课程对给定的基本模型进行训练，即首先在增强的蒸馏样本上进行训练，然后在原始样本上进行训练。

A Masked Image Reconstruction Network for Document-level Relation Extraction Authors Liang Zhang, Yidong Cheng 文档级关系提取旨在提取文档中实体之间的关系。与句子级别的对应物相比，文档级别的关系提取需要对多个句子进行推理来提取复杂的关系三元组。以前的研究通常通过提及级别或实体级别文档图上的信息传播来完成推理，而不管关系之间的相关性如何。在本文中，我们提出了一种基于蒙版图像重建网络 DRE MIR 的新文档级关系提取模型，该模型将推理建模为蒙版图像重建问题，以捕获关系之间的相关性。具体来说，我们首先利用编码器模块来获取实体的特征，并根据这些特征构建实体对矩阵。之后，我们将实体对矩阵视为图像，然后随机对其进行掩码并通过推理模块对其进行恢复，以捕获关系之间的相关性。我们在三个公共文档级关系提取数据集上评估我们的模型，即 DocRED、CDR 和 GDA。

Res-CNN-BiLSTM Network for overcoming Mental Health Disturbances caused due to Cyberbullying through Social Media Authors Raunak Joshi, Abhishek Gupta, Nandan Kanvinde 心理健康障碍有很多原因，网络欺凌是利用社交媒体作为工具进行剥削的主要原因之一。网络欺凌是根据宗教、种族、年龄和性别进行的，这是一个敏感的心理问题。这可以使用带有深度学习的自然语言处理来解决，因为社交媒体是媒介，它会生成大量文本形式的数据。可以利用此类数据来查找语义并得出进行了何种类型的网络欺凌以及参与早期措施的人员。由于派生语义是必不可少的，我们提出了一种混合深度学习模型，名为 1 维 CNN 双向 LSTM，带有残差，简称为 Res CNN BiLSTM。

When Does Syntax Mediate Neural Language Model Performance? Evidence from Dropout Probes Authors Mycal Tucker, Tiwalayo Eisape, Peng Qian, Roger Levy, Julie Shah 最近的因果探索文献揭示了语言模型和句法探测何时使用相似的表示。这种技术可能会产生假阴性因果关系结果模型可能使用句法表示，但探针可能已经学会使用相同句法信息的冗余编码。我们证明了模型确实对句法信息进行了冗余编码，并引入了一种新的探针设计，引导探针考虑嵌入中存在的所有句法信息。

Recent Progress in Conversational AI Authors Zijun Xue, Ruirui Li, Mingda Li 对话式人工智能 AI 正成为工业界和学术界越来越热门的话题。随着基于神经网络的模型的快速发展，许多基于神经网络的对话式人工智能系统被开发出来。

Matching Writers to Content Writing Tasks Authors Narayana Darapaneni, Chandrashekhar Bhakuni, Ujjval Bhatt, Khamir Purohit, Vikas Sardna, Prabir Chakraborty, Anwesh Reddy Paduri 企业需要内容。以各种形式和格式并用于各种目的。事实上，到 2021 年底，内容营销行业的价值将达到 4128.8 亿。然而，根据内容营销研究所的数据，创造引人入胜的内容是营销人员今天面临的第一个挑战。我们明白，制作出色的内容需要出色的作家，他们了解业务并能够将他们的信息融入读者和搜索引擎友好的内容中。在这个项目中，团队试图通过使用 AI 和 ML 工具来弥合作家和项目之间的差距。我们使用 NLP 技术分析了数千个公开可用的商业文章语料库，以提取每个写作样本的各种定义因素。通过这个项目，我们的目标是自动执行非常耗时且经常有偏见的任务，即手动为给定的内容写作要求挑选最合适的作家。我们相信，这样的工具将对寻找适合利基写作工作的合适人才的双方企业以及希望为内容营销项目提供服务的经验丰富的作家和主题专家中小企业产生深远的积极影响。

LSTM-RASA Based Agri Farm Assistant for Farmers Authors Narayana Darapaneni, Selvakumar Raj, Raghul V, Venkatesh Sivaraman, Sunil Mohan, Anwesh Reddy Paduri 近年来，基于深度学习和自然语言的聊天机器人的应用发展迅速。它们用于许多领域，如客户支持、预订系统和个人助理。企业正在使用此类聊天机器人以更好、更有效的方式为客户服务。即使在这样的技术进步之后，专家建议也没有及时到达农民手中。农民在解决他们在田间面临的问题时，仍然很大程度上依赖于同行的知识。这些技术没有被有效地用于及时向农民提供所需的信息。该项目旨在为农业农民助理领域实施封闭域聊天机器人。农民可以与聊天机器人对话，并获得他们所在领域的专家建议。 Farmers Assistant 基于 RASA 开源框架。聊天机器人从用户话语中识别意图和实体，并从数据库中检索补救措施并与用户共享。

Domain Specific Fine-tuning of Denoising Sequence-to-Sequence Models for Natural Language Summarization Authors Brydon Parker, Alik Sokolov, Mahtab Ahmed, Matt Kalebic, Sedef Akinli Kocak, Ofer Shai 长格式文本数据的摘要是一个问题，尤其是与医学和金融等知识经济工作相关的问题，这些工作需要不断了解复杂且不断发展的知识体系。因此，使用自然语言处理 NLP 技术自动隔离和总结关键内容具有在这些行业中大量节省时间的潜力。我们探索最先进的 NLP 模型 BART 的应用，并探索使用数据增强和各种微调策略将其调整到最佳性能的策略。我们表明，在针对特定领域的数据进行测试时，我们的端到端微调方法可以比开箱即用的预训练 BART 总结器提高 5 6 绝对 ROUGE 1，并提供我们的端到端管道来实现这些结果

Scaling Language Model Size in Cross-Device Federated Learning Authors Jae Hun Ro, Theresa Breiner, Lara McConnaughey, Mingqing Chen, Ananda Theertha Suresh, Shankar Kumar, Rajiv Mathews 由于服务器客户端通信和设备计算瓶颈，跨设备联合学习的大多数研究都集中在小型模型上。在这项工作中，我们利用各种技术来缓解这些瓶颈，在跨设备联合学习中训练更大的语言模型。通过部分模型训练、量化、高效迁移学习和通信高效优化器的系统应用，我们能够训练一个 21 M 参数的 Transformer，它实现了与类似大小的 LSTM 相同的困惑度，而客户端到服务器的通信成本却小了 10 倍

Generative Pre-Trained Transformers for Biologically Inspired Design Authors Qihao Zhu, Xinyu Zhang, Jianxi Luo 自然界中的生物系统已经进化了数百万年，以适应环境并在环境中生存。他们开发的许多功能对于解决现代工业中的技术问题具有启发性和有益性。这导致了一种新颖的类比设计形式，称为生物启发设计 BID。尽管 BID 作为一种设计方法已被证明是有益的，但生物学和工程学之间的差距一直阻碍着设计师有效地应用该方法。因此，我们探索了人工智能 AI 的最新进展，以通过计算方法弥合差距。本文提出了一种基于预训练语言模型PLM的生成式设计方法，自动检索和映射生物类比，并以自然语言的形式生成BID。最新的生成式预训练变压器，即 GPT 3，被用作基础 PLM。根据问题空间表示的松散程度，从 PLM 中识别并微调了三种类型的设计概念生成器。机器评估器也经过微调，以评估生成的 BID 概念中域之间的相关性。然后通过一个案例研究对该方法进行测试，其中应用微调模型来生成和评估受自然启发的轻型飞行汽车概念。

yosm: A new yoruba sentiment corpus for movie reviews Authors Iyanuoluwa Shode, David Ifeoluwa Adelani, Anna Feldman 一个人非常喜欢和推荐的电影可能会被另一个人讨厌。人类的一个特征是拥有可能是积极的或消极的感觉的能力。为了自动分类和研究人类的感受，设计了自然语言处理、情感分析和意见挖掘的一个方面，以了解人类对可能影响产品、社交媒体平台、政府或社会讨论甚至电影的若干问题的感受。一些关于情感分析的工作已经在高资源语言上完成，而像约鲁巴语这样的低资源语言已经被搁置了。由于适合低资源语言的数据集和语言架构的稀缺性，非洲语言的低资源语言已被忽略且未得到充分探索。出于这个原因，我们将注意力放在约鲁巴上，以探索对尼日利亚电影评论的情感分析。这些数据包括来自 IMDB、烂番茄、Letterboxd、Cinemapointer 和 Nollyrated 的 1500 条电影评论。

Optimize_Prime@DravidianLangTech-ACL2022: Abusive Comment Detection in Tamil Authors Shantanu Patankar, Omkar Gokhale, Onkar Litake, Aditya Mandke, Dipali Kadam 本文试图解决低资源印度语言中滥用评论检测的问题。辱骂性评论是冒犯一个人或一群人的言论。这些评论针对属于特定种族、性别、种姓、种族、性取向等的个人。滥用评论检测是一个重大问题，尤其是在最近社交媒体用户增加的情况下。本文介绍了我们团队 Optimize Prime 在泰米尔语的 ACL 2022 共享任务滥用评论检测中使用的方法。此任务检测泰米尔语和泰米尔语英语 Codemixed 格式的 YouTube 评论并将其分类为多个类别。我们使用了三种方法来优化我们的结果集成模型、循环神经网络和变压器。在泰米尔语数据中，MuRIL 和 XLM RoBERTA 是我们表现最好的模型，其宏观平均 f1 得分为 0.43。

Cross-Lingual Query-Based Summarization of Crisis-Related Social Media: An Abstractive Approach Using Transformers Authors Fedor Vitiugin, Carlos Castillo 在危机期间从社交媒体收集的相关及时信息可以成为应急管理的宝贵资源。然而，提取这些信息仍然是一项具有挑战性的任务，尤其是在处理以多种语言发布的社交媒体帖子时。这项工作提出了一种跨语言方法，用于从社交媒体帖子中检索和总结危机相关信息。我们描述了一种通过结构化查询表达各种信息需求的统一方式，以及一种创建回答这些信息需求的摘要的方式。该方法基于多语言转换器嵌入。查询是用嵌入支持的一种语言编写的，提取的句子可以是任何其他支持的语言。抽象摘要由转换器创建。评估由众包评估人员和应急管理专家完成，并在跨越十种语言的五次大规模灾难期间从 Twitter 中提取的集合进行，显示了我们方法的灵活性。

An Exploratory Study on Code Attention in BERT Authors Rishab Sharma, Fuxiang Chen, Fatemeh Fard, David Lo 软件工程中的许多最新模型都引入了基于 Transformer 架构的深度神经模型，或者使用基于 Transformer 的预训练语言模型 PLM 在代码上进行训练。尽管这些模型在代码摘要和错误检测等许多下游任务中实现了最先进的结果，但它们基于 Transformer 和 PLM，主要研究在自然语言处理 NLP 领域。尽管自然语言和编程语言之间存在差异，但当前的研究依赖于 NLP 对代码中这些模型的推理和实践。

Gated Multimodal Fusion with Contrastive Learning for Turn-taking Prediction in Human-robot Dialogue Authors Jiudong Yang, Peiying Wang, Yi Zhu, Mingchao Feng, Meng Chen, Xiaodong He 轮换，旨在决定下一个说话者何时可以开始说话，是构建人类机器人口语对话系统的重要组成部分。以前的研究表明，多模式线索可以促进这项具有挑战性的任务。然而，由于公共多模态数据集的缺乏，目前的方法大多限于利用单峰特征或简单的多模态集成模型。此外，真实场景中固有的类不平衡，例如以短停顿结尾的句子大多会被认为是回合的结束，也对回合的决策提出了很大的挑战。在本文中，我们首先收集了一个大规模的带注释的语料库，用于轮流处理超过 5,000 个真实的人类机器人语音和文本模式对话。然后，设计了一种新颖的门控多模式融合机制，以无缝地利用各种信息进行轮流预测。更重要的是，为了解决数据不平衡问题，我们设计了一种简单而有效的数据增强方法，在没有监督的情况下构建负实例，并应用对比学习来获得更好的特征表示。

Multi-task recommendation system for scientific papers with high-way networks Authors Aram Karimi, Simon Dobnik 从研究社区撰写的大量论文中寻找和选择最相关的科学论文是当今研究人员面临的主要挑战之一。众所周知，学者和院士的许多研究兴趣信息都属于他们阅读的论文。从这些论文中分析和提取上下文特征可以帮助我们向他们推荐最相关的论文。在本文中，我们提出了一种多任务推荐系统 RS，它可以预测论文推荐并生成其元数据，例如关键字。该系统被实现为一个三阶段的深度神经网络编码器，它试图将较长的文本序列映射到一个嵌入向量，并同时学习预测特定用户的推荐率和论文的关键词。这种方法背后的动机是，用关键词表达的论文主题是研究人员偏好的有用预测指标。为了实现这一目标，我们使用 RNN、高速公路和卷积神经网络的系统组合来训练端到端的上下文感知协作矩阵。我们的应用程序使用高速公路网络对系统进行非常深入的训练，结合 RNN 和 CNN 的优点来找到最重要的因素并进行潜在表示。高速公路网络允许我们通过学习更复杂的语义结构表示来增强传统的 RNN 和 CNN 管道。

Making the Most of Text Semantics to Improve Biomedical Vision--Language Processing Authors Benedikt Boecking, Naoto Usuyama, Shruthi Bannur, Daniel C. Castro, Anton Schwaighofer, Stephanie Hyland, Maria Wetscherek, Tristan Naumann, Aditya Nori, Javier Alvarez Valle, Hoifung Poon, Ozan Oktay 多模态数据在生物医学中比比皆是，例如放射图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比，具有复杂语义的生物医学文本在视觉语言建模中提出了额外的挑战，并且以前的工作使用了缺乏特定领域语言理解的适应不足的模型。在本文中，我们展示了有原则的文本语义建模可以显着改善自我监督视觉语言处理中的对比学习。我们发布了一个语言模型，通过其改进的词汇和新颖的语言预训练目标，利用放射学报告中的语义和语篇特征，实现放射学自然语言推理的最新成果。此外，我们提出了一种自我监督的联合视觉语言方法，重点是更好的文本建模。它在广泛的公开可用基准上建立了新的最先进的结果，部分是通过利用我们新的领域特定语言模型。我们发布了一个新的数据集，其中包含放射科医生的局部对齐短语基础注释，以促进对生物医学视觉语言处理中复杂语义建模的研究。

Multi-label classification for biomedical literature: an overview of the BioCreative VII LitCovid Track for COVID-19 literature topic annotations Authors Qingyu Chen, Alexis Allot, Robert Leaman, Rezarta Islamaj Do an, Jingcheng Du, Li Fang, Wang Kai, Shuo Xu, Yuefu Zhang, Parsa Bagherzadeh, Sabine Bergler, Aakash Bhatnagar, Nidhir Bhavsar, Yung Chun Chang, Sheng Jie Lin, Wentai Tang, Hongtong Zhang, Ilija Tavchioski, Shubo Tian, Jinfeng Zhang, Yulia Otmakhova, Antonio Jimeno Yepes, Hang Dong, Honghan Wu, Richard Dufour, Yanis Labrak, Niladri Chatterjee, Kushagri Tandon, Fr jus Laleye, Lo c Rakotoson, Emmanuele Chersoni, Jinghang Gu, Annemarie Friedrich, Subhash Chandra Pujari, Mariia Chizhikova, Naveen Sivadasan, Naveen Sivadasan, Zhiyong Lu 自 2019 年 12 月以来，COVID 19 大流行对全球社会产生了严重影响。已进行了大量研究以了解病毒的特征并设计疫苗和药物。相关发现已在生物医学文献中以每月约 10,000 篇关于 COVID 19 的文章的速度进行报道。如此快速的增长极大地挑战了人工管理和解释。例如，LitCovid 是 PubMed 中 COVID 19 相关文章的文献数据库，该数据库已累积超过 200,000 篇文章，每月被全球用户数百万次访问。一项主要的策展任务是为 LitCovid 中的文章分配多达八个主题，例如诊断和治疗。尽管生物医学文本挖掘方法不断进步，但很少有人致力于 COVID 19 文献中的主题注释。为了缩小差距，我们组织了 BioCreative LitCovid 轨道，呼吁社区努力解决 COVID 19 文献的自动主题注释。 BioCreative LitCovid 数据集由 30,000 多篇带有人工审核主题的文章组成，用于训练和测试。它是生物医学科学文献中最大的多标签分类数据集之一。全球共有 19 支团队参与，共提交 80 份参赛作品。大多数团队使用基于变压器的混合系统。表现最好的提交分别达到了 0.8875、0.9181 和 0.9394 的宏观 F1 分数、微观 F1 分数和基于实例的 F1 分数。参与程度和结果证明了一条成功的轨道，并有助于缩小数据集管理和方法开发之间的差距。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com