【AI视野·今日NLP 自然语言处理论文速览 第二十五期】Fri, 1 Oct 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 1 Oct 2021
Totally 36 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

Semi-Supervised Text Classification via Self-Pretraining Authors Payam Karisani, Negin Karisani 我们提出了一种称为自我预训练的神经半监督学习模型。我们的模型受到经典自训练算法的启发。然而，与自我训练相反，自我预训练是无阈值的，它可以潜在地更新对先前标记文档的信念，并且可以应对语义漂移问题。自预训练是迭代的，由两个分类器组成。在每次迭代中，一个分类器随机抽取一组未标记的文档并标记它们。该集合用于初始化第二个分类器，由标记文档集合进一步训练。算法进行下一次迭代，分类器的角色互换。为了改善迭代中的信息流并处理语义漂移问题，Self Pretraining 采用了迭代蒸馏过程，在迭代中转移假设，利用两阶段训练模型，使用有效的学习率计划，并采用了伪标签转换启发式。我们已经在三个公开可用的社交媒体数据集中评估了我们的模型。我们的实验表明，自我预训练在多个设置中优于现有的最先进的半监督分类器。

Multi-granular Legal Topic Classification on Greek Legislation Authors Christos Papaloukas, Ilias Chalkidis, Konstantinos Athinaios, Despina Athanasia Pantazi, Manolis Koubarakis 在这项工作中，我们研究了对用希腊语书写的法律文本进行分类的任务。我们引入并公开了一个基于希腊立法的新数据集，其中包含超过 47,000 个官方分类的希腊立法资源。我们对这个数据集进行了实验，并评估了一系列先进的方法和分类器，从传统的机器学习和基于 RNN 的方法到最先进的基于 Transformer 的方法。我们表明，具有特定领域词嵌入的循环架构提供了改进的整体性能，同时甚至与基于转换器的模型相比也具有竞争力。最后，我们展示了基于尖端多语言和单语转换器的模型在分类器排名的顶部争吵，使我们质疑训练单语迁移学习模型的必要性作为经验法则。

MatSciBERT: A Materials Domain Language Model for Text Mining and Information Extraction Authors Tanishq Gupta, Mohd Zaki, N. M. Anoop Krishnan, Mausam 材料领域的大量知识被生成并存储为发表在同行评审的科学文献中的文本。自然语言处理的最新发展，例如来自转换器 BERT 模型的双向编码器表示，为从这些文本中提取信息提供了有前途的工具。然而，在材料领域直接应用这些模型可能会产生次优结果，因为模型本身可能没有接受过特定于该领域的符号和术语的训练。在这里，我们提出了一个材料感知语言模型，即 MatSciBERT，它是在材料领域发表的大量科学文献上训练的。我们进一步评估了 MatSciBERT 在三个下游任务上的性能，即抽象分类、命名实体识别和不同材料数据集的关系提取。我们表明 MatSciBERT 在所有任务上都优于 SciBERT，后者是一种在科学语料库上训练的语言模型。此外，我们讨论了 MatSciBERT 在材料领域提取信息的一些应用，这反过来又有助于材料发现或优化。

Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks Authors Yichen Jiang, Mohit Bansal 系统组合性是人类语言的基本机制，允许重组已知部分以创建新的表达方式。然而，现有的神经模型已被证明在学习符号结构方面缺乏这种基本能力。由于 Transformer 模型在 SCAN 组合性挑战 Lake and Baroni, 2018 上的失败，需要将命令解析为动作，我们提出了两个辅助序列预测任务来跟踪函数和参数语义的进展，作为额外的训练监督。这些自动生成的序列更能代表输入数据的底层组合符号结构。在推理过程中，模型在每一步联合预测辅助序列中的下一个动作和下一个标记。在 SCAN 数据集上的实验表明，我们的方法鼓励 Transformer 理解命令的组成结构，将其在多个具有挑战性的分割上的准确性从 10 提高到 100。只有 418 5 个训练实例，我们的方法在 MCD1 分割上仍然达到了 97.8 的准确率。因此，我们认为，在给予最少但适当的指导的情况下，可以在 Transformer 中诱导组合性。我们还表明，使用较少语境化的向量作为注意力查询可以获得更好的结果，为实现系统组合性的架构选择提供了见解。最后，我们在 GroundedSCAN 任务 Ruis et al., 2020 上展示了积极的泛化结果。

SlovakBERT: Slovak Masked Language Model Authors Mat Pikuliak, tefan Grivalsk , Martin Kon pka, Miroslav Bl t k, Martin Tamajka, Viktor Bachrat , Mari n imko, Pavol Bal ik, Michal Trnka, Filip Uhl rik 我们在本文中介绍了一种名为 SlovakBERT 的新斯洛伐克掩码语言模型。这是第一个在相当大的语料库上训练的基于斯洛伐克语的仅基于转换器的模型。我们在几个 NLP 任务上评估模型并获得最先进的结果。

Multilingual AMR Parsing with Noisy Knowledge Distillation Authors Deng Cai, Xin Li, Jackie Chun Sing Ho, Lidong Bing, Wai Lam 我们从知识蒸馏的角度研究多语言 AMR 解析，目的是通过使用现有的英语解析器作为其老师来学习和改进多语言 AMR 解析器。我们将探索限制在严格的多语言环境中，只有一种模型可以解析包括英语在内的所有不同语言。我们发现嘈杂的输入和精确的输出是成功蒸馏的关键。加上大量的预训练，我们获得了一个 AMR 解析器，其性能超过了之前在四种不同外语（包括德语、西班牙语、意大利语和中文）上发表的所有结果，大幅提高了 18.8 个文本sc 中文匹配点和平均 11.3 个文本sc匹配点。

Focused Contrastive Training for Test-based Constituency Analysis Authors Benjamin Roth, Erion ano 我们提出了一种基于语言测试的选区分析语法模型的自我训练方案。预训练的语言模型通过对比估计来自语料库的语法句子和被句法测试扰乱的不合语法的句子进行微调，句法测试是一种由选区理论驱动的转换。我们表明，如果仅选择某些正面实例进行训练，则可以获得一致的收益，这取决于它们是否可能是测试转换的结果。

Multi-Modal Sarcasm Detection Based on Contrastive Attention Mechanism Authors Xiaoqiang Zhang, Ying Chen, Guangyuan Li 在过去的十年中，讽刺检测已在文本场景中密集进行。随着视频通信的普及，多模态场景下的分析近年来备受关注。因此，旨在检测视频对话中的讽刺的多模态讽刺检测在自然语言处理社区和多模态分析社区中变得越来越热门。在本文中，考虑到讽刺经常通过模态之间的不协调来传达，例如，文本表达恭维而声调表示抱怨，我们构建了一个基于对比注意的讽刺检测 ConAttSD 模型，该模型使用模态间对比注意机制来提取几个话语的对比特征。对比特征表示两种模态之间的信息不一致。

A Review of Text Style Transfer using Deep Learning Authors Martina Toshevska, Sonja Gievska 风格是句子的一个组成部分，由一个人选择的单词表示。不同的人有不同的表达方式，然而，他们会根据社会背景、听众、对话者或场合的形式调整他们的口语和写作风格。

Feature-Rich Named Entity Recognition for Bulgarian Using Conditional Random Fields Authors Georgi Georgiev, Preslav Nakov, Kuzman Ganchev, Petya Osenova, Kiril Ivanov Simov 本文提出了一种功能丰富的方法，用于自动识别和分类保加利亚语新闻文本中的命名实体人员、组织、位置和杂项。我们将用于其他语言的完善功能与语言特定的词汇、句法和形态信息相结合。特别是，我们利用了 BulTreeBank 680 morpho 句法标签的丰富标签集注释，从中我们导出了合适的任务特定标签集 local 和 nonlocal 。

SUper Team at SemEval-2016 Task 3: Building a feature-rich system for community question answering Authors Tsvetomila Mihaylova, Pepa Gencheva, Martin Boyanov, Ivana Yovcheva, Todor Mihaylov, Momchil Hardalov, Yasen Kiprov, Daniel Balchev, Ivan Koychev, Preslav Nakov, Ivelina Nikolova, Galia Angelova 我们展示了我们为参与 SemEval 2016 社区问答任务 3 而构建的系统。通过结合丰富的语义、词汇、元数据和用户相关的各种类型的特征，我们在子任务 C 上取得了最好的结果，在子任务 A 和 B 上取得了很好的结果。

Improved statistical machine translation using monolingual paraphrases Authors Preslav Nakov 我们提出了一种新颖的单语句子释义方法，通过从已经可用的数据中创建数据来免费增加统计机器翻译系统的训练数据，而不必创建更多对齐的数据。从句法树开始，我们递归地生成新的句子变体，其中名词复合词使用合适的介词进行释义，反之亦然，包含名词短语的介词被转换为名词复合词。

Overview of the CLEF-2019 CheckThat!: Automatic Identification and Verification of Claims Authors Tamer Elsayed, Preslav Nakov, Alberto Barr n Cede o, Maram Hasanain, Reem Suwaileh, Giovanni Da San Martino, Pepa Atanasova 我们在 CLEF 2019 上概述了第二版 CheckThat 实验室。该实验室以英语和阿拉伯语两种不同语言开展了两项任务。任务 1 English 要求参与系统预测政治辩论或演讲中的哪些主张应优先进行事实核查。任务 2 阿拉伯语要求 A 对一组给定的网页进行排名，根据它们对事实核查声明的有效性，B 根据它们对目标声明进行事实核查的有用程度，对这些相同的网页进行分类，C从这些页面中找出有用的段落，然后 D 使用有用的页面来预测声明的真实性。 CheckThat 提供了一个完整的评估框架，包括来自事实检查来源的英文数据和从头开始收集和注释的阿拉伯语数据，以及基于平均精度 MAP 和归一化折扣累积增益 nDCG 进行排名的评估，以及用于分类的 F1。共有 47 个团队注册参加该实验室，其中 14 个团队实际提交了运行，而去年为 9 个。评估结果表明，任务 1 的最成功方法使用了各种神经网络和逻辑回归。至于任务 2，子任务 A 的得分最高的运行使用学习排名，而其他子任务使用不同的分类器。

CrossAug: A Contrastive Data Augmentation Method for Debiasing Fact Verification Models Authors Minwoo Lee, Seungpil Won, Juae Kim, Hwanhee Lee, Cheoneum Park, Kyomin Jung 由于缺乏带有真实性标签的文本源，事实验证数据集通常使用众包技术构建。然而，众包过程通常会在数据中产生不希望的偏差，导致模型学习虚假模式。在本文中，我们提出了 CrossAug，这是一种用于消除事实验证模型偏差的对比数据增强方法。具体来说，我们采用两阶段增强管道从现有样本中生成新的声明和证据。然后将生成的样本与原始对交叉配对，形成对比样本，有助于模型减少对虚假模式的依赖并学习更稳健的表示。实验结果表明，我们的方法在 FEVER 数据集的去偏扩展上优于先前最先进的去偏技术 3.6，总性能比基线提高 10.13。此外，我们在数据稀缺的环境中评估我们的方法，由于缺乏训练数据，模型更容易受到偏差的影响。

Compositional generalization in semantic parsing with pretrained transformers Authors A. Emin Orhan 大规模预训练在深度神经网络中灌输了大量知识。这反过来又改善了这些模型在下游任务中的泛化行为。大规模预训练的泛化优势究竟有哪些限制？在这里，我们报告了一些简单实验的观察结果，这些实验旨在在涉及自然语言 SCAN 和 COGS 的两个语义解析任务的上下文中解决这个问题。我们表明，与从头开始训练的模型相比，仅使用非英语语料库或什至使用编程语言语料库预训练的语言模型在这些基准测试中显着提高了分布式泛化能力，即使这两个基准测试都是基于英语的。这证明了预训练表示和知识的惊人广泛的可转移性。另一方面，使用大规模蛋白质序列预测任务进行预训练，主要会降低 SCAN 和 COGS 中的泛化性能，这表明预训练表示不能普遍转移，并且预训练和下游域之间的相似性存在限制以成功转移.

Key Point Analysis via Contrastive Learning and Extractive Argument Summarization Authors Milad Alshomary, Timon Gurke, Shahbaz Syed, Philipp Heinrich, Maximilian Splieth ver, Philipp Cimiano, Martin Potthast, Henning Wachsmuth 关键点分析的任务是从给定的参数集合中提取一组简明而高级的语句，代表这些参数的要点。本文介绍了我们提出的关键点分析共享任务方法，与第 8 届参数挖掘研讨会并置。该方法集成了两个互补的组件。一个组件通过孪生神经网络采用对比学习来将参数与关键点匹配，另一个组件是用于生成关键点的基于图的提取摘要模型。

Towards Efficient Post-training Quantization of Pre-trained Language Models Authors Haoli Bai, Lu Hou, Lifeng Shang, Xin Jiang, Irwin King, Michael R. Lyu 随着大型预训练语言模型 PLM 的快速增长，网络量化越来越受到关注。然而，大多数现有的 PLM 量化方法都遵循量化感知训练 QAT，这需要端到端的训练并完全访问整个数据集。因此，它们受到训练缓慢、内存开销大和数据安全问题的困扰。在本文中，我们研究了 PLM 的训练后量化 PTQ，并提出了模块化量化误差最小化 MREM，这是一种缓解这些问题的有效解决方案。通过将 PLM 划分为多个模块，我们最大限度地减少了每个模块量化所导致的重构误差。此外，我们设计了一种新的模型并行训练策略，使得每个模块都可以在单独的计算设备上进行本地训练，而无需等待前面的模块，这使理论训练速度提高了近乎理论的速度，例如在 4 个 GPU 上提高了 4 倍。

A surprisal--duration trade-off across and within the world's languages Authors Tiago Pimentel, Clara Meister, Elizabeth Salesky, Simone Teufel, Dami n Blasi, Ryan Cotterell 虽然存在大量自然语言，每种语言都有其独特的特征和特质，但它们都有一个统一的主题，使人类能够交流。因此，我们可以合理地预测，人类认知塑造了这些语言的演变和使用方式。假设人类处理信息的能力大致恒定，我们预计语言之间和语言内部都会出现令人惊讶的持续时间权衡。我们使用 600 种语言的语料库分析了这种权衡，在控制了几个潜在的混淆之后，我们在这两种情况下都找到了强有力的支持证据。具体而言，我们发现，平均而言，在不那么令人惊讶的语言中，电话的生成速度更快，反之亦然。

Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations Authors Arabella Sinclair, Jaap Jumelet, Willem Zuidema, Raquel Fern ndez 我们研究了现代神经语言模型对句法启动的影响程度，句法启动是一种现象，即句子的句法结构使相同结构在后续句子中的可能性更大。我们探索如何使用启动来研究这些模型获得的句法知识的性质。我们引入了一个新的度量标准并发布了 Prime LM，这是一个大型语料库，我们可以在其中控制与启动强度相互作用的各种语言因素。我们发现最近的大型 Transformer 模型确实显示了句法启动的证据，而且这些模型学习的句法概括在某种程度上受到语义信息的调节。当用多个句子启动时，我们报告了令人惊讶的强大启动效应，每个句子都有不同的词和含义，但具有相同的句法结构。

Prose2Poem: The blessing of Transformer-based Language Models in translating Prose to Persian Poetry Authors Reza Khanmohammadi, Mitra Sadat Mirshafiee, Yazdan Rezaee Jouryabi, Seyed Abolghasem Mirroshandel 波斯诗歌一直在其对联的基础上表达其哲学、智慧、言论和基本原理，使其成为母语和非母语人士都可以使用的神秘语言。尽管如此，波斯散文和诗歌之间明显的差距已经使这两种文学媒介少了。在策划了散文及其等效诗歌的平行语料库后，我们引入了一种新颖的神经机器翻译 NMT 方法，在极低的资源设置中使用基于转换器的语言模型将散文翻译成古代波斯诗歌。更具体地说，我们从头开始训练 Transformer 模型以获得初始翻译，并预训练 BERT 的不同变体以获得最终翻译。为了解决在诗意标准下使用掩码语言建模的挑战，我们启发式地加入了两个模型，并根据自动和人工评估生成了有效的诗歌。

BERT got a Date: Introducing Transformers to Temporal Tagging Authors Satya Almasian, Dennis Aumiller, Michael Gertz 文本中的时间表达在语言理解中起着重要作用，正确识别它们是各种检索和自然语言处理系统的基础。以前的工作已经从基于规则的缓慢转变为神经架构，能够以更高的准确度标记表达式。然而，神经模型还不能在与基于规则的对应物相同的级别上区分不同的表达类型。在这项工作中，我们的目标是确定最适合联合时间标记和类型分类的转换器架构，以及研究半监督训练对这些系统性能的影响。在研究了令牌分类和编码器解码器架构的变体之后，我们最终使用 RoBERTa 语言模型作为我们性能最佳的系统提出了一个转换器编码器解码器模型。通过使用来自基于规则的系统的弱标记数据补充训练资源，我们的模型在时间标记和类型分类方面超越了以前的工作，尤其是在稀有类别上。

DICoE@FinSim-3: Financial Hypernym Detection using Augmented Terms and Distance-based Features Authors Lefteris Loukas, Konstantinos Bougiatiotis, Manos Fergadiotis, Dimitris Mavroeidis, Elias Zavitsanos 我们展示了 FinSim 3 团队 DICoE 的提交，这是金融领域学习语义相似性的第三个共享任务。该任务提供了一组金融领域的术语，并要求将它们分类为金融本体中最相关的上位词。在使用 Investopedia 定义扩充术语后，我们的系统在金融词嵌入以及手工制作和基于距离的特征的混合上采用逻辑回归分类器。此外，在此任务中，我们首次对词汇外术语采用不同的替换方法，从而提高了性能。最后，我们还试验了从各种金融语料库生成的词表示。

Sentiment-Aware Measure (SAM) for Evaluating Sentiment Transfer by Machine Translation Systems Authors Hadeel Saadany, Hadeel Saadany, Emad Mohamed, Ashraf Tantavy 在翻译以情感为主要信息的文本时，翻译人员特别注意带有情感的词。原因是这些词的错误翻译会错过源文本的基本方面，即作者的情感。在网络世界中，MT 系统被广泛用于翻译用户生成内容 UGC，例如评论、推文和社交媒体帖子，其中主要信息通常是作者对文本主题的正面或负面态度。在这种情况下，准确衡量 MT 系统在传输正确的情感信息方面可以成为可靠的现实实用工具的程度非常重要。本文解决了机器翻译评估领域一个未被充分认识的问题，即判断自动度量在多大程度上与人类评估的黄金标准一致，以正确翻译情感。我们评估了传统质量指标在发现情绪误译方面的功效，尤其是当它是 MT 输出中的唯一错误时。我们提出了一种数值情感接近度度量，适用于评估 MT 系统在 UGC 文本中翻译情感消息的准确性。

COVID-19 Fake News Detection Using Bidirectiona lEncoder Representations from Transformers Based Models Authors Yuxiang Wang, Yongheng Zhang, Xuebo Li, Xinyao Yu 如今，社交媒体的发展使人们可以轻松获取最新消息。在 COVID 19 大流行期间，人们获取新闻很重要，这样他们才能采取相应的保护措施。然而，假新闻泛滥成灾，这是一个严重的问题，尤其是在全球大流行的情况下。误导性的假新闻会给个人和社会造成重大损失。 COVID 19 假新闻检测已成为 NLP 领域的一项新颖而重要的任务。然而，假新闻总是包含正确的部分和不正确的部分。这一事实增加了分类任务的难度。在本文中，我们微调来自 Transformers BERT 模型的预训练双向编码器表示作为我们的基本模型。我们分别使用冻结参数或不冻结参数方法在微调 BERT 模型的顶部添加 BiLSTM 层和 CNN 层。模型性能评估结果表明，我们的最佳模型 BERT 微调模型具有冻结参数和 BiLSTM 层，在 COVID 19 假新闻检测任务方面取得了最先进的结果。

Phonetic Word Embeddings Authors Rahul Sharma, Kunal Dhawan, Balakrishna Pailla 这项工作提出了一种新的方法，用于从人类对声音的感知中获取动机来计算单词之间的语音相似度。该度量用于学习连续向量嵌入空间，该空间将相似的发音词组合在一起，并可用于各种下游计算音系任务。该方法的功效针对两种不同的语言英语、印地语和先前报告的作品的性能提升在已建立的预测语音相似性的测试中进行了讨论。为了解决该领域有限的基准测试机制，我们还引入了一种基于异形双关数据集的评估方法来比较声学相似性算法的有效性。此外，还介绍了嵌入空间的可视化，并讨论了这种新颖算法的各种可能用例。

Tipping the Scales: A Corpus-Based Reconstruction of Adjective Scales in the McGill Pain Questionnaire Authors Miriam Stern 现代医学诊断依赖于精确的疼痛评估工具将临床信息从患者传递给医生。 McGill 疼痛问卷 MPQ 是一种临床疼痛评估技术，它利用 20 个不同类别的 78 个不同强度的形容词来量化患者的疼痛。问卷的有效性取决于经历疼痛的患者使用形容词的可预测模式。在这项研究中，我使用从患者论坛和现代 NLP 技术收集的数据重新创建了 MPQ 的形容词强度排序。我通过搜索关键的语言上下文来提取形容词强度关系，然后结合关系信息形成强大的形容词量表。在本研究预测的 17 个形容词关系中，有 10 个与 MPQ 一致，这在 0.1 alpha 水平上具有统计显着性。

Measuring Sentence-Level and Aspect-Level (Un)certainty in Science Communications Authors Jiaxin Pei, David Jurgens 确定性和不确定性是科学传播的基础。对冲已被广泛用作不确定性的代理。然而，确定性是一个复杂的结构，作者不仅表达了不确定性的程度，而且还表达了不确定性的类型和方面，以便让读者对已知事物有一定的印象。在这里，我们介绍了一项新的确定性研究，该研究对科学发现中确定性的水平和方面进行建模。使用包含 2167 个带注释的科学发现的新数据集，我们证明了对冲本身只能解释确定性的部分原因。我们表明，总体确定性和个别方面都可以通过预训练的语言模型进行预测，从而更全面地了解作者的预期交流。对来自新闻和科学摘要的 431K 科学发现的下游分析表明，建模句子级别和方面级别的确定性对于科学传播等领域是有意义的。

Multi-Task Pre-Training for Plug-and-Play Task-Oriented Dialogue System Authors Yixuan Su, Lei Shu, Elman Mansimov, Arshit Gupta, Deng Cai, Yi An Lai, Yi Zhang 最近已经证明预训练的语言模型有益于面向任务的对话 TOD 系统。尽管取得了成功，但现有方法通常将此任务表述为级联生成问题，这可能导致不同子任务之间的错误累积和更大的数据注释开销。在这项研究中，我们提出了 PPTOD，一种用于面向任务的对话的统一即插即用模型。此外，我们引入了一种新的对话多任务预训练策略，允许模型从异构对话语料库中学习主要的 TOD 任务完成技能。我们在三个基准 TOD 任务上广泛测试了我们的模型，包括端到端对话建模、对话状态跟踪和意图分类。实验结果表明，PPTOD 在高资源和低资源场景中的所有评估任务上都达到了最新的技术水平。

BeliefBank: Adding Memory to a Pre-Trained Language Model for a Systematic Notion of Belief Authors Nora Kassner, Oyvind Tafjord, Hinrich Sch tze, Peter Clark 尽管预训练的语言模型 PTLM 包含大量的世界知识，但即使经过专门的训练，它们仍然可以在探究时对问题产生不一致的答案。因此，很难确定模型对世界的实际看法，使其容易出现不一致的行为和简单的错误。我们的目标是减少这些问题。我们的方法是将 PTLM 嵌入到一个更广泛的系统中，该系统还包括一个不断发展的、符号化的信念记忆，一个记录但随后可能会修改原始 PTLM 答案的 BeliefBank。我们描述了两种机制来提高整个系统中的信念一致性。首先，加权 MaxSAT 求解器的推理组件修改与其他人显着冲突的信念。其次，反馈组件使用已知信念作为上下文向 PTLM 发出未来查询。我们表明，在受控的实验环境中，这两种机制会导致整个系统的信念更加一致，随着时间的推移提高其答案的准确性和一致性。

Classifying Tweet Sentiment Using the Hidden State and Attention Matrix of a Fine-tuned BERTweet Model Authors Tommaso Macr , Freya Murphy, Yunfan Zou, Yves Zumbach 本文介绍了推文情感分类的研究。我们的任务是将推文分类为正面或负面。我们分两步解决这个问题，即嵌入和分类。我们的基线方法包括传统嵌入方法和分类算法的几种组合。此外，我们探索了当前最先进的推文分析模型 BERTweet，并提出了一种新方法，该方法受推文实证研究的启发，从模型的隐藏状态和注意力矩阵中设计特征。

Privacy Policy Question Answering Assistant: A Query-Guided Extractive Summarization Approach Authors Moniba Keymanesh, Micha Elsner, Srinivasan Parthasarathy 现有的使隐私政策可访问的工作探索了新的呈现形式，例如基于风险因素的颜色编码或摘要，以帮助用户有意识地同意。为了促进与政策的更加个性化的交互，在这项工作中，我们提出了一个自动化的隐私政策问答助手，它提取摘要以响应输入的用户查询。这是一项具有挑战性的任务，因为用户用与政策的法律语言截然不同的语言来表达他们的隐私相关问题，这使得系统难以理解他们的查询。此外，该域中现有的注释数据是有限的。我们通过解释使用户问题的风格和语言更接近隐私政策的语言来解决这些问题。我们的内容评分模块使用现有的域数据来查找政策中的相关信息并将其合并到摘要中。

A formal model for ledger management systems based on contracts and temporal logic Authors Paolo Bottoni, Anna Labella, Remo Pareschi 区块链技术的一个关键组成部分是账本，即一个数据库，与标准数据库不同，该数据库将过去交易的完整历史记录在内存中，就像在公证档案中一样，以供未来测试使用。在以太坊等第二代区块链中，分类账与智能合约相结合，这使得与金融或商业性质的各方之间的协议相关的交易实现自动化。智能合约和分类账的结合为非常创新的应用领域提供了技术背景，例如去中心化自治组织 DAO、初始硬币产品 ICO 和去中心化金融 DeFi，它们推动区块链超越了加密货币，而加密货币是第一代区块链的唯一重点，例如比特币。然而，当前使用的智能合约作为任意编程结构的实现使它们容易受到可以被恶意利用的危险错误的影响，并且已经将它们的语义从合法合约的语义移开。我们在此建议通过形式化建模为有限状态自动机的契约概念来重新组合拆分并恢复数据库的可靠性关于编程。

Language-Aligned Waypoint (LAW) Supervision for Vision-and-Language Navigation in Continuous Environments Authors Sonia Raychaudhuri, Saim Wani, Shivansh Patel, Unnat Jain, Angel X. Chang 在视觉和语言导航 VLN 任务中，实体代理遵循自然语言指令在 3D 环境中导航。此任务中的一个挑战是如何处理代理偏离参考路径的路径场景。先前的工作基于从代理的位置到目标的最短路径来监督代理，但这种面向目标的监督通常与指令不一致。此外，先前工作采用的评估指标并没有衡量代理能够遵循多少语言指令。

Deep Neural Compression Via Concurrent Pruning and Self-Distillation Authors James O Neill, Sourav Dutta, Haytham Assem 修剪旨在减少参数数量，同时保持接近原始网络的性能。这项工作提出了一种新的基于 emph 自蒸馏的剪枝策略，从而使同一网络的剪枝和未剪枝版本之间的表示相似性最大化。与之前分别处理蒸馏和修剪的方法不同，我们使用蒸馏来通知修剪标准，而不需要像知识蒸馏那样单独的学生网络。我们表明，所提出的用于自蒸馏修剪的 em 互相关目标隐含地鼓励稀疏解决方案，自然地补充了基于幅度的修剪标准。在 GLUE 和 XGLUE 基准测试中的实验表明，自蒸馏修剪提高了单语和跨语言语言模型的性能。自蒸馏修剪模型在参数数量相同的情况下也优于较小的 Transformer，并且与 6 倍大的蒸馏网络相比具有竞争力。

Process discovery on deviant traces and other stranger things Authors Federico Chesani, Chiara Di Francescomarino, Chiara Ghidini, Daniela Loreti, Fabrizio Maria Maggi, Paola Mello, Marco Montali, Sergio Tessaris 随着在过去几年中将业务流程理解和形式化为模型的需求不断增长，流程发现研究领域变得越来越重要，开发了两种不同类别的方法来模型表示过程和声明。与这种分类正交，绝大多数作品都将发现任务设想为由记录到输入日志中的痕迹引导的一类监督学习过程。相反，在这项工作中，我们专注于声明式流程，并将不太流行的流程发现观点视为二进制监督学习任务，其中输入日志报告正常系统执行的两个示例，以及根据域语义表示陌生人行为的跟踪。因此，我们深化了如何提取这两组带来的有价值的信息，并将其形式化为根据用户定义的目标优化的模型。我们的方法，即 NegDis，被评估为 w.r.t.

Adaptive Approach For Sparse Representations Using The Locally Competitive Algorithm For Audio Authors Soufiyan Bahadi, Jean Rouat, ric Plourde Gammachirp 滤波器组已被用于在稀疏编码算法中近似耳蜗。应用定向网格搜索优化来适应 gammachirp 参数并提高匹配追踪 MP 算法的稀疏性以及重建质量。然而，贪心算法与每次迭代的网格搜索的这种组合在计算上要求很高并且不适合实时应用。本文提出了一种优化 gammachirp 参数的自适应方法，但在本地竞争算法 LCA 的背景下，需要比 MP 少得多的计算。所提出的方法包括利用 LCA 的神经架构使用反向传播算法自动调整 gammachirp 滤波器组。结果表明，我们的方法在稀疏性、重建质量和收敛时间方面提高了 LCA 的性能。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com