【论文泛读74】Lawformer：中国法律长文件的预训练语言模型

贴一下汇总贴：论文阅读记录

论文链接：《Lawformer: A Pre-trained Language Model for Chinese Legal Long Documents》

一、摘要

法律人工智能（LegalAI）旨在通过人工智能技术（尤其是自然语言处理（NLP））使法律制度受益。最近，受通用领域中预训练语言模型（PLM）成功的启发，许多LegalAI研究人员致力于将PLM应用于法律任务。但是，利用PLM来解决法律任务仍然具有挑战性，因为法律文件通常包含数千个令牌，这远远超过主流PLM可以处理的长度。在本文中，我们发布了基于Longformer的预训练语言模型，称为Lawformer，用于理解中国法律长文件。我们在各种LegalAI任务上评估Lawformer，包括判决预测，相似案例检索，法律阅读理解和法律问题解答。

二、结论

在本文中，我们预训练了一个基于Longformer的语言模型，它包含了数千万个刑事和民事案件文档，我们称之为Lawformer。然后我们对Lawformer在几个典型的法律问题上的任务进行了评估，包括法律判断预测、相似案例检索、法律阅读理解和法律问题回答。结果表明，Lawformer可以在长序列输入的任务上实现显著的性能提升。虽然Lawformer可以提高法律文档理解的性能，但实验结果也表明挑战依然存在。

今后࿰