【AI视野·今日NLP 自然语言处理论文速览 第三十二期】Wed, 20 Apr 2022

AI视野·今日CS.NLP 自然语言处理论文速览
Wed, 20 Apr 2022
Totally 30 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

On the Locality of Attention in Direct Speech Translation Authors Belen Alastruey, Javier Ferrando, Gerard I. G llego, Marta R. Costa juss Transformers 在多个 NLP 任务中取得了最先进的结果。然而，自我注意机制的复杂性与序列长度成二次方关系，为涉及长序列的任务（如语音领域）创造了障碍。在本文中，我们讨论了自我注意对直接语音翻译的有用性。首先，我们分析了编码器自注意力中的层级令牌贡献，揭示了局部对角线模式。为了证明某些注意力权重是可以避免的，我们建议用本地有效的自我注意力替代标准的自我注意力，根据分析结果设置使用的上下文量。

A Benchmark for Automatic Medical Consultation System: Frameworks, Tasks and Datasets Authors Wei Chen, Zhiwei Li, Hongyi Fang, Qianyuan Yao, Cheng Zhong, Jianye Hao, Qi Zhang, Xuanjing Huang, J iajie Peng, Zhongyu Wei 近年来，人们对使用机器学习来提高自动医疗咨询的效率和增强患者体验产生了兴趣。在本文中，我们提出了两个框架来支持自动医疗咨询，即医患对话理解和面向任务的交互。引入了一个新的具有多级细粒度注释的大型医疗对话数据集，并建立了五个独立的任务，包括命名实体识别、对话行为分类、症状标签推断、医疗报告生成和面向诊断的对话策略。

Detecting Text Formality: A Study of Text Classification Approaches Authors Daryna Dementieva, Ivan Trifinov, Andrey Likhachev, Alexander Panchenko 形式是文本文件的一个重要特征。文本形式级别的自动检测可能对各种自然语言处理任务有益，例如检索具有所需形式级别的文本、集成语言学习和文档编辑平台，或通过聊天机器人评估所需的对话语气。最近，针对具有形式注释的多种语言引入了两个大规模数据集。然而，它们主要用于风格迁移模型的训练。然而，检测文本形式本身也可能是一个有用的应用程序。这项工作提出了第一个基于当前和更经典的机器学习方法的形式检测方法的系统研究，并为公众提供了性能最佳的模型。我们进行了单语、多语和跨语三种类型的实验。该研究表明，在形式分类任务中，基于 BiLSTM 的模型优于基于 Transformer 的模型。

Building Odia Shallow Parser Authors Pruthwik Mishra, Dipti Misra Sharma 浅层解析是许多 NLP 应用程序（如机器翻译、摘要、情感分析、方面识别等）的一项基本任务。高质量的注释语料库对于构建准确的浅层解析器至关重要。就一般语料库的可用性而言，许多印度语言资源匮乏。因此，本文试图为浅层解析器创建高质量的语料库。

Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies Authors Md Rizwan Parvez, Jianfeng Chi, Wasi Uddin Ahmad, Yuan Tian, Kai Wei Chang 先前对隐私政策的研究将问答 QA 任务定义为从政策文档中识别最相关的文本片段或句子列表以供用户查询。然而，注释这样的数据集具有挑战性，因为它需要特定的领域专业知识，例如法律学者。即使我们管理的是小规模的，仍然存在的瓶颈是标记的数据严重不平衡，只有少数部分是相关的，从而限制了该领域的增益。因此，在本文中，我们开发了一种基于集成检索器模型的新型数据增强框架，该框架从未标记的策略文档中捕获相关文本段，并在训练集中扩展正例。此外，为了提高增强数据的多样性和质量，我们利用多个预先训练的语言模型 LM 并将它们与降噪预言机级联。使用我们在 PrivacyQA 基准上的增强数据，我们将现有基线大幅提升 10 F1 并达到 50 的最新 F1 分数。

Feature Structure Distillation for BERT Transferring Authors Hee Jun Jung, Doyeon Kim, Seung Hoon Na, Kangil Kim 知识蒸馏是一种通过减少他们的差异来将表示信息从老师传递给学生的​​方法。这种方法的一个挑战是降低学生表示的灵活性，从而导致对教师知识的不准确学习。为了在 BERT 传输中解决它，我们研究了对指定为三种类型内特征、局部间特征、全局间特征结构的表示结构的蒸馏。为了转移它们，我们引入了基于 Centered Kernel Alignment 的 textit 特征结构蒸馏方法，该方法为相似的特征结构分配一致的值并揭示更多信息关系。特别是，针对全局结构实现了一种具有聚类的内存增强传输方法。在对 GLUE 数据集的语言理解的九个任务的实验中，与最先进的蒸馏方法相比，所提出的方法有效地转移了三种类型的结构并提高了性能。

Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation Authors Keqi Deng, Shinji Watanabe, Jiatong Shi, Siddhant Arora 尽管 Transformers 在口语理解 SLU 和语音翻译 ST 等多项语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们在流式 SLU 和同步 ST 上迈出了第一步，使用基于上下文块处理和块同步波束搜索的块流式 Transformer。此外，我们为流式 SLU 任务设计了一种基于自动语音识别 ASR 的中间损失正则化，以进一步提高分类性能。对于同步 ST 任务，我们提出了一种跨语言编码方法，该方法采用了针对目标语言翻译进行优化的 CTC 分支。此外，CTC翻译输出还用于以CTC前缀分数细化搜索空间，首次实现联合CTC注意力同声翻译。 SLU 的实验在 FSC 和 SLURP 语料库上进行，而 ST 任务在 Fisher CallHome Spanish 和 MuST C En De 语料库上进行评估。

A survey on improving NLP models with human explanations Authors Mareike Hartmann, Daniel Sonntag 训练一个可以访问人工解释的模型可以提高域内和域外数据的数据效率和模型性能。除了这些实证结果之外，与人类学习过程的相似性使得从解释中学习成为建立富有成效的人机交互的有希望的方式。已经提出了几种方法来改进具有人类解释的自然语言处理 NLP 模型，这些方法依赖于不同的解释类型和将这些解释整合到学习过程中的机制。这些方法很少相互比较，使得从业者很难为特定的用例选择解释类型和集成机制的最佳组合。

Cross-Lingual Phrase Retrieval Authors Heqi Zheng, Xiao Zhang, Zewen Chi, Heyan Huang, Tan Yan, Tian Lan, Wei Wei, Xian Ling Mao 跨语言检索旨在跨语言检索相关文本。当前的方法通常通过在单词或句子级别学习与语言无关的文本表示来实现跨语言检索。然而，如何学习用于跨语言短语检索的短语表示仍然是一个悬而未决的问题。在本文中，我们提出了 XPR，这是一种跨语言短语检索器，可从未标记的例句中提取短语表示。此外，我们创建了一个大规模的跨语言短语检索数据集，其中包含 65K 双语短语对和 8 个以英语为中心的语言对中的 420 万个例句。实验结果表明，XPR 优于使用单词级别或句子级别表示的最先进的基线。 XPR 还显示出令人印象深刻的零镜头可迁移性，使模型能够在训练期间以看不见的语言对执行检索。

ATP: AMRize Then Parse! Enhancing AMR Parsing with PseudoAMRs Authors Liang Chen, Peiyi Wang, Runxin Xu, Tianyu Liu, Zhifang Sui, Baobao Chang 由于抽象意义表示 AMR 隐含地涉及复合语义注释，我们假设在语义或形式上相关的辅助任务可以更好地增强 AMR 解析。我们发现 1 语义角色标签 SRL 和依赖解析 DP 会比其他任务带来更多的性能提升，例如即使数据少得多，文本中的 MT 和摘要也会过渡到 AMR。 2 为了更好地适应 AMR，来自辅助任务的数据应在训练前适当地 AMR 化为 PseudoAMR。来自浅层解析任务的知识可以通过结构变换更好地转移到 AMR Parsing。 3 与多任务学习相比，中间任务学习是将辅助任务引入 AMR 解析的更好范例。从经验的角度来看，我们提出了一种原则性的方法来涉及辅助任务来促进 AMR 解析。

I still have Time(s): Extending HeidelTime for German Texts Authors Andy L cking, Manuel Stoeckel, Giuseppe Abrami, Alexander Mehler HeidelTime 是检测文本中时间表达的最广泛和最成功的工具之一。由于 HeidelTime 的模式匹配系统是基于正则表达式的，因此可以方便地进行扩展。我们为 HeidelTime HeidelTime EXT 的德国资源提供了这样的扩展。扩展是通过观察现实世界文本和各种时间银行中的假阴性来实现的。覆盖范围的增益为 2.7 或 8.5 ，具体取决于所承认的潜在过度概括程度。我们描述了 HeidelTime EXT 的发展，它对来自各种类型的文本样本的评估，并分享了一些语言观察。

Impact of Tokenization on Language Models: An Analysis for Turkish Authors Cagri Toraman, Eyup Halit Yilmaz, Furkan ahinu , Oguzhan Ozcelik 标记化是为深度语言模型准备输入标记的重要文本预处理步骤。 WordPiece 和 BPE 是 BERT 和 GPT 等重要模型采用的事实上的方法。但是，对于形态丰富的语言（例如突厥语），标记化的影响可能会有所不同，其中可以通过添加前缀和后缀来生成许多单词。我们比较了五个不同粒度级别的分词器，即它们的输出从最小的字符到单词的表面形式不等，包括形态学级别的分词器。我们在 OSCAR 语料库的土耳其语拆分上使用 RoBERTa 预训练程序训练这些标记器并预训练中型语言模型。然后，我们在六个下游任务上微调我们的模型。我们的实验得到了统计测试的支持，表明形态级别的分词器与事实上的分词器相比具有挑战性的性能。此外，我们发现增加词汇量对形态学和词级分词器的性能的提高比事实上的分词器的性能更好。

Probing for the Usage of Grammatical Number Authors Karim Lasri, Tiago Pimentel, Alessandro Lenci, Thierry Poibeau, Ryan Cotterell 探索的核心任务是揭示预训练模型如何在其表示中编码语言属性。然而，编码可能是虚假的，即模型在进行预测时可能不依赖它。在本文中，我们尝试找到模型实际使用的编码，引入基于使用的探测设置。我们首先选择一个不使用语言属性就无法解决的行为任务。然后，我们尝试通过干预模型的表示来移除该属性。我们认为，如果模型使用了编码，则删除它应该会损害所选行为任务的性能。作为一个案例研究，我们专注于 BERT 如何对语法数字进行编码，以及它如何使用这种编码来解决数字一致性任务。实验上，我们发现 BERT 依赖于语法数字的线性编码来产生正确的行为输出。我们还发现 BERT 对名词和动词使用单独的语法数字编码。

SmartSales: Sales Script Extraction and Analysis from Sales Chatlog Authors Hua Liang, Tianyu Liu, Peiyi Wang, Mengliang Rao, Yunbo Cao 在现代销售应用中，自动脚本提取和管理大大减少了人工收集中标销售脚本的需要，极大地提高了销售的成功率，并且可以在销售团队之间共享。在这项工作中，我们展示了 SmartSales 系统，为销售代表和经理提供服务，以从大型销售聊天记录中获得销售洞察力。 SmartSales 由三个模块组成 1 客户常见问题 FAQ 提取旨在通过从聊天日志中获取高质量的客户问答对来丰富 FAQ 知识库。 2 客户异议响应帮助销售人员找出典型的客户异议和相应的成功销售脚本，以及针对某个客户异议寻找合适的销售响应。 3 销售经理仪表板帮助销售经理监控特定销售代表或团队是否遵循销售标准操作程序SOP。

Where Was COVID-19 First Discovered? Designing a Question-Answering System for Pandemic Situations Authors Johannes Graf, Gino Lancho, Patrick Zschech, Kai Heinrich COVID 19 大流行伴随着大规模的信息流行病，这使得很难为 COVID 19 相关问题（如潜伏期、感染率或疫苗的有效性）确定简明可靠的信息。作为一种新颖的解决方案，我们的论文涉及设计一个基于自然语言处理现代技术的问答系统，以克服大流行情况下的信息过载和错误信息。为了开展我们的研究，我们遵循设计科学研究方法，并应用 Ingwersen 的信息检索交互认知模型，从社会技术的角度为我们的设计过程提供信息。在此基础上，我们从设计要求和设计原则方面推导出规范的设计知识，并将其转化为原型实例化的构建。

IndicXNLI: Evaluating Multilingual Inference for Indian Languages Authors Divyanshu Aggarwal, Vivek Gupta, Anoop Kunchukuttan 虽然最近 Indic NLP 在语料库和预训练模型的可用性方面取得了快速进展，但标准 NLU 任务的基准数据集是有限的。为此，我们介绍了 IndicXNLI，这是一个用于 11 种印度语言的 NLI 数据集。它是由原始英语 XNLI 数据集的高质量机器翻译创建的，我们的分析证明了 IndicXNLI 的质量。通过在这个 IndicXNLI 上微调不同的预训练 LM，我们分析了各种跨语言迁移技术对语言模型、语言、多语言、混合语言输入等选择的影响。这些实验为我们提供了对行为的有用见解

Generating Authentic Adversarial Examples beyond Meaning-preserving with Doubly Round-trip Translation Authors Siyu Lai, Zhen Yang, Fandong Meng, Xue Zhang, Yufeng Chen, Jinan Xu, Jie Zhou 使用单次往返翻译 RTT 为神经机器翻译 NMT 生成对抗样本通过释放意义保留限制取得了可喜的成果。然而，这种方法的一个潜在缺陷是我们无法确定生成的示例是与目标 NMT 模型对抗还是与辅助反向模型对抗，因为通过 RTT 的重建误差可能与其中任何一个相关。为了解决这个问题，我们提出了一个基于双往返翻译 DRTT 的 NMT 对抗样本的新标准。具体来说，除了源目标源 RTT 之外，我们还考虑了目标源目标之一，它用于为目标 NMT 模型挑选出真实的对抗样本。此外，为了增强 NMT 模型的鲁棒性，我们引入了掩码语言模型来构建基于 DRTT 的双语对抗对，用于直接训练 NMT 模型。

DecBERT: Enhancing the Language Understanding of BERT with Causal Attention Masks Authors Ziyang Luo, Yadong Xi, Jing Ma, Zhiwei Yang, Xiaoxi Mao, Changjie Fan, Rongsheng Zhang 自 2017 年以来，基于 Transformer 的模型在各种下游自然语言处理任务中发挥着关键作用。然而，Transformer Encoder 中使用的注意力机制的一个常见限制是它不能自动捕获词序信息，因此通常需要将显式位置嵌入输入到目标模型中。相比之下，带有因果注意掩码的 Transformer 解码器自然对词序敏感。在这项工作中，我们专注于使用因果注意掩码提高 BERT 的位置编码能力。此外，我们提出了一种新的预训练语言模型 DecBERT，并在 GLUE 基准上对其进行评估。实验结果表明 1 因果注意掩码对 BERT 在语言理解任务上是有效的 2 我们没有位置嵌入的 DecBERT 模型在 GLUE 基准测试中实现了可比的性能 3 我们的修改加速了预训练过程，DecBERT w PE 的整体性能优于

Mono vs Multilingual BERT for Hate Speech Detection and Text Classification: A Case Study in Marathi Authors Abhishek Velankar, Hrushikesh Patil, Raviraj Joshi Transformer 是用于各种自然语言处理任务的最杰出的架构。这些模型在大型文本语料库上进行了预训练，旨在为文本分类等任务提供最先进的结果。在这项工作中，我们对单语和多语 BERT 模型进行了比较研究。我们专注于马拉地语，并评估数据集上的模型，用于马拉地语中的仇恨言论检测、情绪分析和简单文本分类。我们使用标准的多语言模型，例如 mBERT、indicBERT 和 xlm RoBERTa，并与 MahaBERT、MahaALBERT 和 MahaRoBERTa（马拉地语的单语模型）进行比较。我们进一步表明，马拉地语单语模型在五个不同的下游微调实验中优于多语言 BERT 变体。我们还通过冻结 BERT 编码器层来评估这些模型的句子嵌入。我们表明，与来自多语言对应物的句子嵌入相比，基于单语 MahaBERT 的模型提供了丰富的表示。然而，我们观察到这些嵌入不够通用，并且在域外社交媒体数据集上效果不佳。

LitMC-BERT: transformer-based multi-label classification of biomedical literature with an application on COVID-19 literature curation Authors Qingyu Chen, Jingcheng Du, Alexis Allot, Zhiyong Lu 生物医学文献的快速增长对策展和解释提出了重大挑战。这在 COVID 19 大流行期间变得更加明显。 LitCovid 是 PubMed 中 COVID 19 相关论文的文献数据库，已累积超过 180,000 篇文章，访问量达数百万。每月约有 10,000 篇新文章添加到 LitCovid。 LitCovid 中的一项主要管理任务是主题注释，其中为一篇文章分配多达八个主题，例如治疗和诊断。带注释的主题已广泛用于 LitCovid（例如，占总使用量的 18 个）和下游研究（例如网络生成）。然而，由于任务的性质和快速的文献增长，它一直是主要的策展瓶颈。本研究提出了 LITMC BERT，这是一种生物医学文献中基于变压器的多标签分类方法。它为所有标签使用共享的转换器主干，同时还捕获标签特定的特征和标签对之间的相关性。我们将 LITMC BERT 与两个数据集上的三个基线模型进行比较。它的微 F1 和基于实例的 F1 分别比当前的最佳结果高 5 和 4，并且只需要比 Binary BERT 基线低 18 倍的推理时间。

Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion Authors Shunsuke Kando, Hiroshi Noji, Yusuke Miyao 将更强的句法偏差纳入神经语言模型 LM 是一个长期目标，但该领域的研究通常侧重于对英语文本进行建模，其中组成树库很容易获得。通过依赖到选区的转换方法，可以将基于成分树的 LM 扩展到多语言设置，其中依赖树库更常见。然而，这提出了哪些树格式最适合学习模型以及哪些语言的问题。我们通过使用各种转换方法训练循环神经网络语法 RNNG 来研究这个问题，并在多语言环境中对它们进行经验评估。我们通过七种句法测试检查了九种转换方法和五种语言对 LM 性能的影响。平均而言，我们最好的模型的性能比所有语言的最差选择的准确度提高了 19 倍。我们的最佳模型显示了优于顺序过度参数化 LM 的优势，表明语法注入在多语言环境中的积极作用。

MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages Authors Jack FitzGerald, Christopher Hench, Charith Peris, Scott Mackie, Kay Rottmann, Ana Sanchez, Aaron Nash, Liam Urbach, Vishesh Kakarala, Richa Singh, Swetha Ranganath, Laurie Crist, Misha Britan, Wouter Leeuwis, Gokhan Tur, Prem Natarajan 我们展示了 MASSIVE 数据集多语言 Amazon Slu 资源包 SLURP，用于插槽填充、意图分类和虚拟助手评估。 MASSIVE 包含 100 万个真实的、并行的、标记的虚拟助手话语，涵盖 51 种语言、18 个领域、60 个意图和 55 个插槽。 MASSIVE 是通过委托专业翻译人员将仅英语的 SLURP 数据集本地化为来自 29 个属的 50 种类型不同的语言而创建的。我们还展示了 XLM R 和 mT5 的建模结果，包括精确匹配准确度、意图分类准确度和槽填充 F1 分数。

CBR-iKB: A Case-Based Reasoning Approach for Question Answering over Incomplete Knowledge Bases Authors Dung Thai, Srinivas Ravishankar, Ibrahim Abdelaziz, Mudit Chaudhary, Nandana Mihindukulasooriya, Tahira Naseem, Rajarshi Das, Pavan Kapanipathi, Achille Fokoue, Andrew McCallum 知识库 KB 通常是不完整的，并且在实践中不断变化。然而，在许多与知识库相结合的问答应用程序中，知识库的稀疏性经常被忽视。为此，我们提出了一种基于案例的推理方法 CBR iKB，用于以不完整 KB 为主要重点的知识库问答 KBQA。我们的方法将来自多个推理链的决策与一种新颖的非参数推理算法集成在一起。通过设计，CBR iKB 可以无缝适应 KB 的变化，而无需任何特定任务的训练或微调。我们的方法在 MetaQA 上达到了 100 的准确率，并在多个基准上建立了新的技术水平。

Imagination-Augmented Natural Language Understanding Authors Yujie Lu, Wanrong Zhu, Xin Eric Wang, Miguel Eckstein, William Yang Wang 人脑同时整合语言和感知信息以理解自然语言，并具有渲染想象力的关键能力。这些能力使我们能够构建新的抽象概念或具体对象，并且对于涉及实践知识以解决资源不足的场景中的问题至关重要。然而，大多数现有的自然语言理解 NLU 方法主要集中在文本信号上。它们不模拟人类的视觉想象能力，这阻碍了模型从有限的数据样本中有效地推断和学习。因此，我们引入了一种想象增强的跨模态编码器 iACE，以从一个新颖的学习角度想象增强的跨模态理解来解决自然语言理解任务。 iACE 利用从强大的生成和预先训练的视觉和语言模型转移的外部知识来实现​​视觉想象。对 GLUE 和 SWAG 的大量实验表明，iACE 在视觉监督的预训练模型上取得了一致的改进。

CodexDB: Generating Code for Processing SQL Queries using GPT-3 Codex Authors Immanuel Trummer CodexDB 是一个 SQL 处理引擎，其内部结构可以通过自然语言指令进行定制。 CodexDB 基于 OpenAI 的 GPT 3 Codex 模型，可将文本转换为代码。它是 GPT 3 Codex 之上的一个框架，将复杂的 SQL 查询分解为一系列简单的处理步骤，用自然语言描述。用户提供的说明和数据库属性描述丰富了处理步骤。 Codex 将生成的文本转换为查询处理代码。

Understanding Toxicity Triggers on Reddit in the Context of Singapore Authors Yun Yu Chong, Haewoon Kwak 虽然在线毒性的传染性引发了人们对其早期发现和预防的兴趣，但大多数文献都集中在西方世界。

ELEVATER: A Benchmark and Toolkit for Evaluating Language-Augmented Visual Models Authors Chunyuan Li, Haotian Liu, Liunian Harold Li, Pengchuan Zhang, Jyoti Aneja, Jianwei Yang, Ping Jin, Yong Jae Lee, Houdong Hu, Zicheng Liu, Jianfeng Gao 从自然语言监督中学习视觉表示最近在许多开创性的工作中显示出巨大的希望。一般来说，这些语言增强的视觉模型展示了对各种数据集任务的强大可迁移性。然而，由于缺乏用于公平基准测试的易于使用的工具包，评估这些基础模型的可转移性仍然是一个挑战。为了解决这个问题，我们构建了语言增强视觉任务级别迁移的 ELEVATER 评估，这是第一个比较和评估预训练语言增强视觉模型的基准。几个亮点包括 i 数据集。作为下游评估套件，它由 20 个图像分类数据集和 35 个对象检测数据集组成，每个数据集都增加了外部知识。 ii 工具包。开发了一个自动超参数调整工具包，以确保模型适应的公平性。为了充分利用语言增强视觉模型的全部功能，提出了新颖的语言感知初始化方法来显着提高适应性能。 iii 指标。使用了多种评估指标，包括样本效率零镜头和少镜头以及参数效率线性探测和全模型微调。

Table-based Fact Verification with Self-adaptive Mixture of Experts Authors Yuxuan Zhou, Xien Liu, Kaiyin Zhou, Ji Wu 基于表格的事实验证任务最近得到了广泛的关注，但仍然是一个非常具有挑战性的问题。它本质上需要对自然语言进行信息推理以及对表格进行不同的数字和逻辑推理，例如计数、最高级、比较。考虑到这一点，我们利用了专家的混合，并在本文中提出了一种新的方法自适应混合专家网络 SaMoE。具体来说，我们开发了一个混合专家神经网络来识别和执行不同类型的推理，该网络由多个专家组成，每个专家处理语义的特定部分进行推理，而管理模块用于决定每个专家的贡献专家网络对验证结果。开发了一种自适应方法，可以在没有外部知识的情况下更有效地教授管理模块，结合不同专家的结果。实验结果表明，我们的框架在基准数据集 TabFact 上达到了 85.1 的准确度，与之前最先进的模型相当。我们希望我们的框架可以作为基于表格的验证的新基线。

On The Cross-Modal Transfer from Natural Language to Code through Adapter Modules Authors Divyam Goel, Ramansh Grover, Fatemeh H. Fard 预训练的神经语言模型 PTLM，例如 CodeBERT，最近在软件工程中用作在大型源代码语料库上预训练的模型。他们的知识被转移到下游任务，例如通过微调进行代码克隆检测。在自然语言处理 NLP 中，通过使用插入 PTLM 层中的适配器、紧凑、参数高效的模块，探索了传递 PTLM 知识的其他替代方案。

Active Learning Helps Pretrained Models Learn the Intended Task Authors Alex Tamkin, Dat Nguyen, Salil Deshpande, Jesse Mu, Noah Goodman 当多种行为与提供的训练数据一致时，由于任务模糊性，模型可能会在部署过程中以不可预知的方式失败。一个例子是在遇到蓝色方块时在红色方块和蓝色圆圈上训练的对象分类器，预期的行为是未定义的。我们调查预训练模型是否是更好的主动学习者，能够消除用户可能试图指定的可能任务之间的歧义。有趣的是，我们发现更好的主动学习是预训练过程的一个新兴属性，当使用基于不确定性的主动学习时，预训练模型需要的标签数量减少多达 5 倍，而非预训练模型则看不到甚至是负面的好处。我们发现这些收益来自于选择具有消除预期行为歧义的属性的示例的能力，例如稀有产品类别或非典型背景。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com