AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 15 Apr 2022
Totally 33 papers
👉上期速览✈更多精彩请移步主页
Daily Computation and Language Papers
| FREDA: Flexible Relation Extraction Data Annotation Authors Michael Strobl, Amine Trabelsi, Osmar Zaiane 为了有效地训练准确的关系提取模型，需要足够且正确标记的数据。充分标记的数据很难获得，对这些数据进行注释是一项棘手的工作。以前的工作表明，如果准确完成，要么必须牺牲准确性，要么任务非常耗时。我们正在提出一种方法，以便为关系提取任务快速生成高质量的数据集。神经模型，经过训练可以对创建的数据集进行关系提取，取得了非常好的结果，并且可以很好地推广到其他数据集。 |
| CLUES: A Benchmark for Learning Classifiers using Natural Language Explanations Authors Rakesh R Menon, Sayan Ghosh, Shashank Srivastava 监督学习传统上专注于通过观察任务的标记示例来进行归纳学习。相比之下，人类有能力从语言中学习新概念。在这里，我们探索了纯粹从语言中为结构化数据训练零样本分类器。为此，我们介绍了 CLUES，这是使用自然语言解释进行分类器学习的基准，包括一系列结构化数据的分类任务以及解释形式的自然语言监督。 CLUES 由 36 个真实世界和 144 个合成分类任务组成。它包含来自多位教师的描述现实世界任务的众包解释，以及以编程方式生成的合成任务解释。为了模拟解释对示例分类的影响，我们开发了 ExEnt，这是一个基于蕴涵的模型，它使用解释来学习分类器。与不使用解释的基线相比，ExEnt 在新任务上概括了多达 18 个更好的相对。我们从解释中描述了自动化学习的关键挑战，解决了这些挑战可能会导致未来在 CLUES 方面取得进展。 |
| Label Semantic Aware Pre-training for Few-shot Text Classification Authors Aaron Mueller, Jason Krone, Salvatore Romeo, Saab Mansour, Elman Mansimov, Yi Zhang, Dan Roth 在文本分类任务中，有用的信息被编码在标签名称中。标签语义感知系统利用这些信息在微调和预测期间提高了文本分类性能。然而，在预训练期间使用标签语义尚未得到广泛探索。因此，我们提出了Label Semantic Aware Pre training LSAP，以提高文本分类系统的泛化能力和数据效率。在我们的案例中，LSAP 通过对来自各种领域的标记句子进行二次预训练，将标签语义整合到预训练的生成模型 T5 中。由于域通用预训练需要大量数据，我们开发了一个过滤和标记管道，以从未标记的文本自动创建句子标签对。我们对意图 ATIS、Snips、TOPv2 和主题分类 AG News、Yahoo Answers 进行实验。 |
| Exploring Dual Encoder Architectures for Question Answering Authors Zhe Dong, Jianmo Ni, Dan Bikel, Enrique Alfonseca, Yuan Wang, Chen Qu, Imed Zitouni 双编码器已用于问答 QA 和信息检索 IR 任务，效果良好。双编码器有两种主要类型，Siamese Dual Encoders SDE，参数在两个编码器之间共享，非对称双编码器 ADE，具有两个明显参数化的编码器。在这项工作中，我们探索了用于 QA 检索任务的双编码器架构。通过评估 MS MARCO 和 MultiReQA 基准，我们表明 SDE 的性能明显优于 ADE。我们进一步提出了三种不同的 ADE 改进版本。 |
| Dialogue Strategy Adaptation to New Action Sets Using Multi-dimensional Modelling Authors Simon Keizer, Norbert Braunschweiler, Svetlana Stoyanchev, Rama Doddipatla 为新领域和应用构建统计口语对话系统的一个主要瓶颈是需要大量的训练数据。为了解决这个问题，我们采用多维方法进行对话管理并评估其迁移学习的潜力。具体来说，我们利用预先训练的任务独立策略来加快扩展任务特定动作集的训练，其中请求插槽的单个摘要动作被多个插槽特定请求动作取代。使用基于议程的用户模拟器的策略优化和评估实验表明，在有限的训练数据下，使用所提出的多维适应方法可以获得更好的性能水平。我们在对口语对话系统的众包人类用户评估中确认了这一改进，并比较了部分训练的策略。 |
| Hate Speech Classification Using SVM and Naive BAYES Authors D.C Asogwa, C.I Chukwuneke, C.C Ngene, G.N Anigbogu 以前仅限于口头交流的仇恨在互联网上迅速蔓延。允许人们讨论和表达意见的社交媒体和社区论坛正在成为传播仇恨信息的平台。许多国家已经制定了法律来避免网络仇恨言论。他们认为运营社交媒体的公司对他们未能消除仇恨言论负责。但随着在线内容的不断增长，仇恨言论的传播也在不断增加。然而，由于数据量巨大且耗时耗力，人工分析在线平台上的仇恨言论是不可行的。因此，自动处理在线用户内容以检测和删除在线媒体中的仇恨言论非常重要。许多最近的方法都存在可解释性问题，这意味着很难理解系统为什么会做出它们所做的决定。通过这项工作，针对仇恨信息的自动检测问题提出了一些解决方案，使用支持向量机 SVM 和朴素贝叶斯算法。这实现了接近最先进的性能，同时比其他方法更简单并且产生更容易解释的决策。 |
| A Comparative Evaluation Of Transformer Models For De-Identification Of Clinical Text Data Authors Christopher Meaney, Wali Hakimpour, Sumeet Kalia, Rahim Moineddin |
| State of the Art in Artificial Intelligence applied to the Legal Domain Authors Jo o Dias, Pedro A. Santos, Nuno Cordeiro, Ana Antunes, Bruno Martins, Jorge Baptista, Carlos Gon alves 虽然人工智能应用于法律领域是一个起源于上个世纪的话题，但人工智能的最新进展有望彻底改变它。 |
| Sequential Multi-task Learning with Task Dependency for Appeal Judgment Prediction Authors Lianxin Song, Xiaohui Han, Guangqi Liu, Wentong Wang, Chaoran Cui, Yilong Yin 法律判决预测 LJP旨在自动预测判决结果，如指控、相关法律条款和刑罚期限。它在法律助理系统中发挥着至关重要的作用，并成为近年来的热门研究课题。本文涉及一项有价值但尚未深入研究的 LJP 任务，即上诉判决预测 AJP，该任务基于对案件事实和上诉理由的文字描述来预测上诉法院对上诉案件的判决。解决 AJP 任务在实践中存在两个重大挑战。一是如何恰当地对上诉判决程序进行建模。二是如何提高预测结果的可解释性。我们提出了一个具有任务依赖性的顺序多任务学习框架，用于上诉判断预测 SMAJudge 以应对这些挑战。 SMAJudge 利用两个顺序组件对从下级法院到上诉法院的完整程序进行建模，并采用注意力机制使预测更具可解释性，从而有效应对 AJP 的挑战。 |
| Rows from Many Sources: Enriching row completions from Wikidata with a pre-trained Language Model Authors Carina Negreanu, Alperen Karaoglu, Jack Williams, Shuang Chen, Daniel Fabian, Andrew Gordon, Chin Yew Lin 行完成是用附加的相关行来扩充给定的文本和数字表的任务。该任务分为两个步骤主题建议，填充主列和间隙填充的任务，填充其余列的任务。我们展示了在标准基准 WikiTables 上测量的主题建议和差距填补的最先进的结果。我们的想法是通过将知识库表解释和自由文本生成和谐地结合起来来解决这个任务。我们使用知识库解释表格以建议新行并通过属性链接生成像标题这样的元数据。为了提高候选者的多样性，我们通过 GPT 3 使用自由文本生成来合成额外的行，并且至关重要的是，我们利用我们解释的元数据来生成更好的文本生成提示。 |
| Anti-Asian Hate Speech Detection via Data Augmented Semantic Relation Inference Authors Jiaxuan Li, Yue Ning 近年来，随着仇恨言论在社交媒体上的传播，仇恨言论的自动检测正成为一项至关重要的任务，并引起了各个社区的关注。此任务旨在识别在线帖子，例如包含仇恨信息的推文。社交媒体中语言的特殊性，例如内容简短且写得不好，导致难以学习语义和捕捉仇恨言论的辨别特征。以前的研究利用了额外的有用资源，例如情绪标签，来提高仇恨言论检测的性能。 Hashtags 被添加为输入特征，既可以作为情感词典，也可以作为额外的上下文信息。然而，我们的仔细调查表明，直接利用这些特征而不考虑它们的上下文可能会给分类器带来噪音。在本文中，我们提出了一种利用情感标签来增强自然语言推理框架中的仇恨言论检测的新方法。我们设计了一个新颖的框架 SRIC，它同时执行两项任务：1 在线帖子和情感标签之间的语义关系推断，以及 2 对这些帖子的情感分类。语义关系推断旨在鼓励模型将情感指示信息编码为在线帖子的表示。 |
| XLMRQA: Open-Domain Question Answering on Vietnamese Wikipedia-based Textual Knowledge Source Authors Kiet Van Nguyen, Phong Nguyen Thuan Do, Nhat Duy Nguyen, Tin Van Huynh, Anh Gia Tuan Nguyen, Ngan Luu Thuy Nguyen 问答 QA 是信息检索和信息提取领域中的一项自然语言理解任务，由于基于机器阅读理解的模型的大力发展，近年来引起了计算语言学和人工智能研究界的广泛关注。基于阅读器的 QA 系统是一种高级搜索引擎，它可以使用机器阅读理解 MRC 技术在开放域或特定领域的文本中找到查询或问题的正确答案。另一方面，MRC 和 QA 系统中数据资源和机器学习方法的大部分进步，尤其是在英语和中文等两种资源丰富的语言中。像越南语这样的低资源语言见证了对 QA 系统的研究稀缺。本文介绍了 XLMRQA，这是越南第一个使用基于监督转换器的阅读器的越南 QA 系统，该系统使用 UIT ViQuAD 语料库在基于维基百科的文本知识源上，其性能优于使用深度神经网络模型 DrQA 和 BERTserini 的两个强大的 QA 系统，分别为 24.46 和 6.28。 |
| Can Visual Dialogue Models Do Scorekeeping? Exploring How Dialogue Representations Incrementally Encode Shared Knowledge Authors Brielen Madureira, David Schlangen 认知上似是而非的视觉对话模型应该在对话上下文中保留一个共享既定事实的心理记分牌。我们提出了一种基于理论的评估方法，用于调查在 VisDial 数据集上预训练的模型在多大程度上逐步构建了适当地进行记分的表示。 |
| Latent Aspect Detection from Online Unsolicited Customer Reviews Authors Mohammad Forouhesh, Arash Mansouri, Hossein Fani 在评论分析的背景下，方面是客户针对其意见和情绪的产品和服务的特征。方面检测可帮助产品所有者和服务提供商识别缺陷并优先考虑客户需求，从而保持收入并减少客户流失。现有的方法侧重于通过训练监督学习方法来检测方面的表面形式，当方面在评论中隐藏时，这些方法就会不足。在本文中，我们提出了一种无监督的方法来提取潜在的方面。具体来说，我们假设客户在撰写评论时经历了两个阶段的假设生成过程 1 决定产品或服务可用方面中的一个方面，以及 2 撰写与所选方面更相关的意见词一种语言中所有可用单词的集合。我们使用潜在 Dirichlet 分配来学习潜在方面的分布以生成评论。 |
| Open Source HamNoSys Parser for Multilingual Sign Language Encoding Authors Sylwia Majchrowska, Marta Plantykow, Milena Olech 本文介绍了我们在使用汉堡手语注释系统 HamNoSys 自动处理手语语料库领域的最新进展。我们设计了一个自动化工具，将 HamNoSys 注释转换为数字标签，用于定义身体和手部位置的初始特征。我们提出的数字多标签极大地简化了 HamNoSys 注释的结构，而不会显着损失光泽含义。这些数字多标签可以潜在地用于提供机器学习模型，这将加速基于视觉的手语识别的发展。此外，该工具可以协助专家在注释过程中帮助识别语义错误。 |
| Challenges for Open-domain Targeted Sentiment Analysis Authors Yun Luo, Hongjie Cai, Linyi Yang, Yanxia Qin, Rui Xia, Yue Zhang 由于先前关于开放域目标情感分析的研究在数据集域种类和句子级别上受到限制，我们提出了一个由 6,013 个人类标记数据组成的新数据集，以扩展感兴趣主题和文档级别的数据域。此外，我们提供了一个嵌套的目标注释模式来提取文档中的完整情感信息，提高了开放域目标情感分析的实用性和有效性。此外，我们在任务的序列到序列生成方法中利用预训练模型 BART。基准测试结果表明，开放领域的针对性情感分析还有很大的改进空间。 |
| Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task Authors Karim Lasri, Alessandro Lenci, Thierry Poibeau 尽管基于 Transformer 的神经语言模型在各种任务上都表现出令人印象深刻的性能，但它们的泛化能力并没有得到很好的理解。他们已被证明在广泛的设置中在主语动词数量一致性方面表现出色，这表明他们即使在没有明确监督的情况下也学会了在训练期间跟踪句法依赖关系。在本文中，我们研究了 BERT 在目标句法模板上执行词汇独立主语动词数一致 NA 的程度。为此，我们在对 BERT 行为的新颖细粒度分析中破坏了每个目标结构的自然发生刺激中发现的词汇模式。 |
| Shedding New Light on the Language of the Dark Web Authors Youngjin Jin, Eugene Jang, Yongjae Lee, Seungwon Shin, Jin Woo Chung 暗网的隐藏性质和有限的可访问性，再加上该领域缺乏公共数据集，使得研究其固有特征（如语言特性）变得困难。以前关于暗网域文本分类的工作表明，使用深度神经模型可能无效，这可能是由于暗网和表面网之间的语言差异。然而，在揭示暗网的语言特征方面并没有做太多工作。本文介绍了 CoDA，这是一个公开可用的暗网数据集，由 10000 个针对基于文本的暗网分析量身定制的 Web 文档组成。通过利用 CoDA，我们对暗网进行了彻底的语言分析，并检查了暗网和 Surface Web 之间的文本差异。我们还评估了各种暗网页面分类方法的性能。 |
| How Gender Debiasing Affects Internal Model Representations, and Why It Matters Authors Hadas Orgad, Seraphina Goldfarb Tarrant, Yonatan Belinkov NLP 中关于性别偏见的常见研究要么关注通过模型在下游任务中的表现衡量的外在偏见，要么关注模型内部表示中发现的内在偏见。然而，外在偏差和内在偏差之间的关系相对未知。在这项工作中，我们通过同时测量这两个量来阐明这种关系，我们在下游微调期间对模型进行去偏，这减少了外在偏差，并测量了对内在偏差的影响，这通过信息理论探测作为偏差提取可操作化。通过对两个任务和多个偏差指标的实验，我们表明我们的内在偏差指标比标准 WEAT 指标的上下文适应更好地指示去偏，并且还可以暴露表面去偏的情况。我们的框架提供了关于 NLP 模型偏差的全面视角，可用于以更明智的方式部署 NLP 系统。 |
| Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation Authors Xiangpeng Wei, Heng Yu, Yue Hu, Rongxiang Weng, Weihua Luo, Jun Xie, Rong Jin 有监督的神经机器翻译 NMT 的主要任务是学习生成以来自一组并行句子对的源输入为条件的目标句子，从而产生一个能够泛化到未见实例的模型。然而，通常观察到模型的泛化性能很大程度上受训练中使用的并行数据量的影响。尽管数据增强被广泛用于丰富训练数据，但具有离散操作的传统方法无法生成多样化和忠实的训练样本。在本文中，我们提出了一种新的数据增强范式，称为连续语义增强 CsaNMT，它使用邻接语义区域来增强每个训练实例，该邻接语义区域可以覆盖相同含义下的文字表达的足够变体。我们对涉及各种语言对的富资源和低资源设置进行了广泛的实验，包括 WMT14 英语德语、法语、NIST 中文英语和多个低资源 IWSLT 翻译任务。提供的经验证据表明，CsaNMT 在现有增强技术中设置了一个新的性能水平，大大提高了现有技术水平。 |
| Multi-label topic classification for COVID-19 literature with Bioformer Authors Li Fang, Kai Wang 我们描述了 Bioformer 团队参与 BioCreative VII 的 COVID 19 文献轨道 5 的多标签主题分类任务。使用不同的 BERT 模型 BioBERT、PubMedBERT 和 Bioformer 执行主题分类。我们将主题分类任务表述为一个句子对分类问题，其中标题是第一句，摘要是第二句。我们的结果表明，Bioformer 在这项任务中的表现优于 BioBERT 和 PubMedBERT。与基线结果相比，我们的最佳模型将基于微观、宏观和实例的 F1 分数分别提高了 8.8、15.5、7.4。 Bioformer 在这项挑战中取得了最高的微 F1 和宏 F1 分数。 |
| Improving Top-K Decoding for Non-Autoregressive Semantic Parsing via Intent Conditioning Authors Geunseob Oh, Rahul Goel, Chris Hidey, Shachi Paul, Aditya Gupta, Pararth Shah, Rushin Shah 语义解析 SP 是现代虚拟助手（如 Google Assistant 和 Amazon Alexa）的核心组件。虽然基于序列到序列的自回归 AR 方法在会话语义解析中很常见，但最近的研究采用非自回归 NAR 解码器并减少推理延迟，同时保持有竞争力的解析质量。然而，NAR 解码器的一个主要缺点是难以使用诸如波束搜索之类的方法生成前 k 个，即 k 个最佳输出。为了应对这一挑战，我们提出了一种新颖的 NAR 语义解析器，它在解码器上引入了意图条件。受传统意图和槽标记解析器的启发，我们将顶级意图预测与解析的其余部分分离。由于顶层意图主要控制解析的语法和语义，因此意图条件允许模型更好地控制波束搜索并提高前 k 个输出的质量和多样性。我们引入了一种混合教师强制方法来避免训练和推理不匹配。我们在会话 SP 数据集 TOP TOPv2 上评估提议的 NAR。与现有的 NAR 模型一样，我们保持 O 1 解码时间复杂度，同时生成更多样化的输出，并将前 3 个精确匹配 EM 提高 2.4 个点。 |
| GPT-NeoX-20B: An Open-Source Autoregressive Language Model Authors Sid Black, Stella Biderman, Eric Hallahan, Quentin Anthony, Leo Gao, Laurence Golding, Horace He, Connor Leahy, Kyle McDonell, Jason Phang, Michael Pieler, USVSN Sai Prashanth, Shivanshu Purohit, Laria Reynolds, Jonathan Tow, Ben Wang, Samuel Weinbach 我们介绍了 GPT NeoX 20B，这是一个在 Pile 上训练的 200 亿参数自回归语言模型，其权重将通过许可许可证免费公开提供给公众。据我们所知，它是最大的密集自回归模型，在提交时具有公开可用的权重。在这项工作中，我们描述了模型的架构和训练，并评估了它在一系列语言理解、数学和基于知识的任务上的表现。我们发现 GPT NeoX 20B 是一个特别强大的少镜头推理器，并且在评估五镜头时，其性能比类似大小的 GPT 3 和 FairSeq 模型获得更多。 |
| Revisiting Transformer-based Models for Long Document Classification Authors Xiang Dai, Ilias Chalkidis, Sune Darkner, Desmond Elliott 最近的文本分类文献偏向于短文本序列，例如句子或段落。在现实世界的应用程序中，多页多段落文档很常见，它们不能被基于普通 Transformer 的模型有效地编码。我们比较了不同的基于 Transformer 的长文档分类 TrLDC 方法，这些方法旨在减轻 vanilla 转换器对更长文本进行编码的计算开销，即稀疏注意力和分层编码方法。我们检查了稀疏注意力的几个方面，例如局部注意力窗口的大小、全局注意力的使用和层次结构，例如覆盖不同领域的四个文档分类数据集上的文档拆分策略转换器。 |
| Dynamic Schema Graph Fusion Network for Multi-Domain Dialogue State Tracking Authors Yue Feng, Aldo Lipani, Fanghua Ye, Qiang Zhang, Emine Yilmaz 对话状态跟踪 DST 旨在跟踪用户在对话过程中的意图。在 DST 中，域和槽之间的关系建模仍然是一个研究不足的问题。考虑到这种关系的现有方法通常在以下方面存在不足：1 明确地融合先前的槽域成员关系和对话感知动态槽关系，以及 2 推广到看不见的域。为了解决这些问题，我们提出了一种新颖的 textbf D Dynamic textbf S chema textbf G raph textbf Fusion textbf Net work textbf DSGFNet ，它生成一个动态模式图来显式地融合先前的槽域成员关系和对话感知动态槽关系。它还使用模式来促进知识向新领域的转移。 DSGFNet 由对话话语编码器、模式图编码器、对话感知模式图演化网络和模式图增强对话状态解码器组成。 |
| GAP: A Graph-aware Language Model Framework for Knowledge Graph-to-Text Generation Authors Anthony Colas, Mehrdad Alvandipour, Daisy Zhe Wang 最近 KG 对文本生成的改进是由于额外的辅助预训练任务旨在提高微调任务的性能。这些任务需要大量的计算资源，而只建议进行边际改进。在这里，我们证明了通过将图形感知元素融合到现有的预训练语言模型中，我们能够超越最先进的模型并缩小额外的预训练任务所带来的差距。我们通过提出一个掩码结构来捕获邻域信息和一种新型编码器来做到这一点，该编码器根据连接类型为图注意力权重添加偏差。在两个 KG 到文本基准数据集上的实验表明，这些模型在质量上更优越，同时涉及的参数更少，并且没有额外的预训练任务。 |
| CAMERO: Consistency Regularized Ensemble of Perturbed Language Models with Weight Sharing Authors Chen Liang, Pengcheng He, Yelong Shen, Weizhu Chen, Tuo Zhao 模型集成是一种流行的方法来生成低方差和良好的泛化模型。然而，它会导致大量的内存和推理成本，这对于现实世界的部署来说通常是负担不起的。现有的工作是在模型之间共享权重。然而，当增加共享权重的比例时，得到的模型往往是相似的，使用模型集成的好处就会减少。为了在保持低内存成本的同时保留集成优势，我们提出了一种基于扰动模型的一致性正则化集成学习方法，名为 CAMERO。具体来说，我们在所有模型中共享底层的权重，并对不同模型的隐藏表示应用不同的扰动，这可以有效地促进模型的多样性。同时，我们在扰动模型中应用预测一致性正则化器来控制由于模型多样性引起的方差。我们使用大型语言模型的实验表明，CAMERO 显着提高了集成模型的泛化性能。 |
| EHRKit: A Python Natural Language Processing Toolkit for Electronic Health Record Texts Authors Irene Li, Keen You, Xiangru Tang, Yujie Qiao, Lucas Huang, Chia Chun Hsieh, Benjamin Rosand, Dragomir Radev 电子健康记录 EHR 是现代医疗系统的重要组成部分，影响着医疗保健的提供、运营和研究。尽管 EHR 中的信息是结构化的，但非结构化文本仍引起了广泛关注，并已成为一个令人兴奋的研究领域。最近神经自然语言处理 NLP 方法的成功为处理非结构化临床笔记带来了新的方向。在这项工作中，我们为临床文本创建了一个 Python 库，即 EHRKit。该库包含两个主要部分 MIMIC III 特定功能和任务特定功能。第一部分介绍了访问 MIMIC III NOTEEVENTS 数据的接口列表，包括基本搜索、信息检索和信息提取。 |
| A Distant Supervision Corpus for Extracting Biomedical Relationships Between Chemicals, Diseases and Genes Authors Dongxu Zhang, Sunil Mohan, Michaela Torkar, Andrew McCallum 我们介绍了 ChemDisGene，这是一个用于训练和评估多类多标签文档级生物医学关系提取模型的新数据集。我们的数据集包含 80,000 个生物医学研究摘要，标有提及化学品、疾病和基因，其中部分人类专家标有用于评估的这些实体之间的 18 种类型的生物医学关系，其余用于训练的已通过远程标记CTD 数据库的准确率约为 78。与类似的预先存在的数据集相比，我们的数据集更大更干净，它还包括将提及链接到其实体的注释。 |
| Scalable and Robust Self-Learning for Skill Routing in Large-Scale Conversational AI Systems Authors Mohammad Kachuee, Jinseok Nam, Sarthak Ahuja, Jin Myung Won, Sungjin Lee 技能路由是大规模会话系统中的重要组成部分。与传统的基于规则的技能路由相比，最先进的系统使用基于模型的方法来实现自然对话。为了提供训练此类模型所需的监督信号，提出了诸如人工注释、基于规则的系统的复制、基于用户释义的重新标记和基于强盗的学习等想法。然而，这些方法 a 在技能和技能的数量方面没有扩展， b 需要非常昂贵的专家注释规则设计， c 在每次模型更新时都会在用户体验中引入风险。在本文中，我们提出了一种可扩展的自我学习方法来探索路由替代方案，而不会导致突然的策略更改破坏用户体验，从用户交互中学习，并通过频繁的模型刷新逐步改进路由。为了实现如此强大的频繁模型更新，我们建议采用一种简单有效的方法来确保各个域的受控策略更新，然后进行非策略评估以做出部署决策，而无需进行冗长的 A B 实验。 |
| A Unified Multi-task Learning Framework for Multi-goal Conversational Recommender Systems Authors Yang Deng, Wenxuan Zhang, Weiwen Xu, Wenqiang Lei, Tat Seng Chua, Wai Lam 近年来，在开发多目标会话推荐系统 MG CRS 方面取得了一些进展，该系统可以主动吸引用户兴趣并自然地引导具有多个会话目标和不同主题的用户参与对话。 MG CRS 中经常涉及四项任务，包括目标规划、主题预测、项目推荐和响应生成。大多数现有研究仅解决其中一些任务。为了处理 MG CRS 的整个问题，采用了模块化框架，其中每个任务都独立处理，而不考虑它们的相互依赖关系。在这项工作中，我们提出了一种新颖的统一多目标会话推荐系统，即 UniMIND。具体来说，我们将这四个具有不同公式的任务统一到相同的序列中以对 Seq2Seq 范式进行排序。研究了基于提示的学习策略，以赋予统一模型多任务学习的能力。最后，整个学习和推理过程包括三个阶段，包括多任务学习、基于提示的调整和推理。两个 MG CRS 基准 DuRecDial 和 TG ReDial 的实验结果表明，UniMIND 使用统一模型在所有任务上实现了最先进的性能。 |
| METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals Authors Payal Bajaj, Chenyan Xiong, Guolin Ke, Xiaodong Liu, Di He, Saurabh Tiwary, Tie Yan Liu, Paul Bennett, Xia Song, Jianfeng Gao 我们提出了一种使用辅助模型生成的训练信号对大规模自动编码语言模型进行预训练的有效方法。这种训练策略起源于 ELECTRA，已经证明了在数亿参数规模上预训练模型的样本效率。在这项工作中，我们进行了全面的实证研究，并提出了一个方法，即模型生成的去噪训练目标 METRO，它结合了最近开发的一些最佳建模技术，以在不影响模型有效性的情况下加速、稳定和增强预训练的语言模型。生成的模型 METRO LM 包含多达 54 亿个参数，在 GLUE、SuperGLUE 和 SQuAD 基准测试中达到了最新的技术水平。 |
| Formal Language Recognition by Hard Attention Transformers: Perspectives from Circuit Complexity Authors Yiding Hao, Dana Angluin, Robert Frank 本文分析了三种形式化的Transformer编码器模型，它们的自注意力机制形式不同unique hard attention UHAT generalized unique hard attention GUHAT，它概括了UHAT和平均hard attention AHAT。我们表明，被视为字符串接受器的 UHAT 和 GUHAT 变换器只能识别复杂性类别 AC 0 中的形式语言，该语言类别可由具有恒定深度和多项式大小的布尔电路族识别。这个上限包含了 Hahn 的 2020 年结果，即 GUHAT 无法识别 DYCK 语言或 PARITY 语言，因为这些语言在 AC 0 Furst et al., 1984 之外。 |
| Chinese Abs From Machine Translation |
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
