论文阅读：Cross-Domain Transfer Learning for Dependency Parsing

本文链接：https://blog.csdn.net/woshuaizuishuai/article/details/124568018

文章目录

摘要：
关键词：
一、简介：
二、相关工作
- 2.1 Token Level Dependency Parsing
三、Proposed System
四、任务以及训练的一些细节
五、主要结果
六、Ablation Study
七、结论

摘要：

近年来，依赖分析的研究重点是提高域内数据的准确性，并取得了显著的进展。然而，现实世界与单个场景数据集不同，后者充满了无数未被数据集覆盖的场景，即域外的场景。因此，在域内数据上执行良好的解析器在域外数据上的性能通常会显著下降。因此，为了使已有的具有良好性能的域内解析器适应新的域场景，跨域迁移学习技术是解决解析中的域问题的关键。在本文中，我们研究了两种跨域迁移学习场景:半监督和无监督跨域迁移学习。
具体来说，我们采用预训练的语言模型BERT对源域(域内)数据进行子词级别的训练，并针对两种场景引入两种三训练变体方法，以达到跨域迁移学习的目的。基于本文的系统参与了NLPCC-2019-sharedtask的跨域依赖解析，并在“subtask3- un-open”和”subtask4-semi-open”子任务中获得了第一名，说明了所采用方法的有效性。

关键词：

跨域、迁移学习、依赖分析

一、简介：

依存分析是理解文本内容的关键任务，通过分析语言成分的依赖关系来揭示其句法结构，其结果可以帮助下游任务模型更好地理解输入文本。

1.1 作者要讨论的问题

由于依存语法是一种人工定义的语言结构，制作高质量的标记数据依赖于人工分析，这是非常耗时和痛苦的。虽然大多数依存项解析器目前表现出非常好的性能，但现有的标记依赖项解析数据在领域方面非常有限，这意味着目前性能良好的解析器只有很少的领域可处理。如果将现有域数据训练出来的模型直接应用到新域，性能会大大降低。He等人表明，高精度依赖语法可以帮助下游任务，而低精度依赖语法不仅没有帮助，甚至会损害性能。因此，跨域依赖句法分析已成为将句法分析结果应用于实际下游自然语言处理系统的主要挑战。