Re32：读论文 Summarizing Legal Regulatory Documents using Transformers

最新推荐文章于 2024-07-22 10:58:46 发布
最新推荐文章于 2024-07-22 10:58:46 发布
阅读量605 收藏
点赞数
分类专栏： 人工智能学习笔记 文章标签： legalAI 文本摘要 抽取式文本摘要 transformers 法律文本摘要
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/127076765
版权

诸神缄默不语-个人CSDN博文目录

论文名称：Summarizing Legal Regulatory Documents using Transformers
论文下载地址：https://dl.acm.org/doi/10.1145/3477495.3531872
数据集EUR-LexSum下载地址：svea-klaus/Legal-Document-Summarization

本文是2022年SIGIR论文，关注使用transformers模型来做法律规范文件 (legal regulatory documents) 的抽取式摘要。

这篇文章提出了一个英文法律规范文件摘要数据集。模型就是很简单地把抽取式摘要建模成每一句的二分类任务，还测试了在此之前用TextRank先抽取一遍的效果。（这个指标甚至没有做人工的）
看起来非常简单，这样就能发SIGIR吗，那我怎么不行……
所以可能本文的贡献重点在数据集上吧！

文章目录

1. Background & Motivation

法律文本的重要问题在于外行看不懂，本文关注提取文中的重点（即实现文本摘要任务）。

现有的文本摘要工作关注于短文本和生成式摘要。
本文提出基于transformers的模型，实现抽取式摘要，效果超过了TextRank。超过TextRank是什么值得写出来的事情吗？结合TextRank以预先过滤候选句子，然后再使用基于transformer的模型，效果可能会更好。（先抽取，然后再抽取？）

2. EUR-LexSum数据集

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

3. 基于transformer的抽取式摘要模型

本文基于类似Bert的结构，生成句子表征，对每个句子用二元分类的范式，决定最终选出哪些句子。

在这里插入图片描述

（本文提及了一下，具体的通过生成式摘要结果来抽取oracle抽取式摘要标签的方法也是值得探索的。我也觉得！！！！！）

3.1 数据爬取和清洗

数据来源：https://eur-lex.europa.eu/browse/summaries.html
具体细节略。

3.2 微调基于transformer的模型

贪心搜索选择32句（生成式摘要的平均长度）。
最小化选出句子之间的相似性：trigram blocking1

4. 实验

对数据集的介绍见本文第二节。

4.1 baseline

TextRank
直接预测VS先抽取再预测

4.2 实验设置

使用TransformerSum包。本文介绍该包及其优越性的内容不赘。
具体的设置比较简单，略。

4.3 主实验结果

评估指标是ROUGE-1、2、L的P、R和F1

在这里插入图片描述

4.4 模型分析

摘要长度对ROUGE值的影响：
在这里插入图片描述

  1. 在本文中给出的参考文献是：1. Text Summarization with Pretrained Encoders 2. A Deep Reinforced Model for Abstractive Summarization
    我简单百度了一下，指的是“根据句子的分数来排序，并丢弃那些与之前的句子有三字母重叠的句子”（出自2021-06-21ACL2020 Heterogeneous Graph Neural Networks for Extractive Document Summarization） ↩︎

自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Summarizing documents with T5-large
段智华的博客
10-14 424
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Summarizing documents with T5-large 目录 Summarizing documents with T5-largeCreating a summarization functionA general topic sampleThe Bill of Rights sampleA corporate law sample星空智能对话机器人系列博客 Summarizing documents w
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 Transformers 101 第21章 基于Bayesian Theory的MRC文本理解基础经典模型算法
段智华的博客
11-17 235
第21章：基于Bayesian Theory的MRC文本理解基础经典模型算法详解 1，Bayesian prior在模型训练时候对Weight控制、训练速度影响等功能详解 2，Bayesian prior能够提供模型训练速度和质量的数学原理剖析 3，从Word2vec走向GloVe：从Local 信息走向Global+Local信息表示模式 4，GloVe 中的Vector相关性算法 5，GloVe的Co-occurrence matrix解析 6，GloVe的Loss计算 7，神经网络表达信息的三大局限剖
EurLex-Multilabel-Classification:法律文件的多重分类（Eur-Lex）
04-30
法律语料库的多重分类（EUR-Lex） 单个文本文档通常具有多个语义方面。 与政治有关的单个新闻文章可能具有与贸易，技术和国防有关的方面。 从机器学习的角度来看，我们可以将各个方面解释为实例（文档）的多个类标签。 在这个项目中，我们探索了一个公开的多标签法律文本数据集，该数据集已被手动注释了十年。 它以24种不同的语言包含与欧盟有关的法律，包括条约，立法，判例法和立法建议。 这就是众所周知的EUR-Lex数据集，其中包含约两万个文档和七千个标签。 每个文档中多个标签的偏斜分布以及以多种语言存在的相同数据使该数据集成为一个有趣的主张。 网址 截屏网址 资料网址 数据文件夹中显示英语和德语数据。 请注意，如果您正在从Github Web下载代码（如下图所示），则不会下载数据（因为它超出了Github提供的限制）。 在这种情况下，请执行以下操作： 从以下链接下载数据： 下载文件后： 英
LegalAI公开数据集的整理、总结及介绍（持续更新ing…）
诸神缄默不语的博客
06-07 6466
本文介绍LegalAI领域的公开数据集
【论文阅读笔记】ArgLegalSumm 法律方面的生成式摘要模型
自用博客
01-17 440
【论文阅读笔记】ArgLegalSumm 法律方面的生成式摘要模型
探索法律文书智能摘要的前沿——LegalDocSummarizer
gitblog_00031的博客
06-06 390
探索法律文书智能摘要的前沿——LegalDocSummarizer 去发现同类优质开源项目:https://gitcode.com/ 在信息爆炸的时代，法律从业者和研究者面对海量的案卷文档，如何高效地获取关键信息成为了挑战。为了解决这一问题，我们向您推荐一款开源项目——LegalDocSummarizer，它提供了多种提取式和抽象式法律案例文档总结的方法，并附带了印度和英国最高法院的案例数据集。 ...
TransformerSum:使用机器学习转换器和将抽象摘要数据集转换为提取任务的工具来执行神经摘要（抽取式和抽象式）的模型
05-08
变压器总和 使用机器学习转换器和将抽象摘要数据集转换为提取任务的工具来执行神经摘要（抽取式和抽象式）的模型。 TransformerSum是一个旨在简化训练，评估和使用机器学习变压器模型的库，这些模型可以执行自动汇总。 它与紧密集成，可轻松使用各种架构和预先训练的模型。 非常强调代码的可读性和可解释性，以便初学者和专家都可以构建新组件。 提取模型类和抽象模型类均使用编写，处理PyTorch训练循环逻辑，可轻松使用高级功能，例如16位精度，多GPU训练。 TransformerSum使用 （抽取式）和 （抽象）（它是 （纸张）和longformer的组合）支持长序列（4,096至16,384个令牌）的提取和抽象汇总。 TransformerSum还包含可以在资源受限的设备上运行的模型，同时仍保持较高的准确性。 使用ROUGE度量标准可以自动评估模型，但用户可以进行人工测试。 请查阅文档以
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101第4章
段智华的博客
11-10 890
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101第4章 目录 Autoregressive Language ModelsAutoencoding Language Models数学原理星空智能对话机器人系列博客 Autoregressive Language Models 第4章: Autoregressive Language Models之GPT-1、2、3解析及GPT源码实现 1，Task-aware的人工智能Language model + Pre-trai
Python_目前最大的工业缺陷检测数据库及论文集 Constantly summarizing open sourc.zip
05-24
标题中的“Python_目前最大的工业缺陷检测数据库及论文集 Constantly summarizing open source”表明这是一个关于使用Python进行工业缺陷检测的资源集合，其中可能包含了大量的数据集和相关的研究论文。这个压缩包很...
Legal Case Reports DataSet 法律案件数据集-数据集
03-19
Legal Case Reports 是澳大利亚联邦法院的案件数据集，主要用于文本摘要。该数据集包含 2006 年至 2009 年的所有案例，来源为 AustL II，发布者将其用于构建实验摘要和引文分析，每个文件中均包含流星语、引文句子、引文标语和引文类别。 Legal Case Reports DataSet 法律案件数据集_datasets.txt Legal Case Reports DataSet 法律案件数据集_corpus_datasets.zip
Python-PyTorch实现基于Transformer的神经机器翻译
08-11
PyTorch实现基于Transformer的神经机器翻译
传神社区|数据集合集第7期|法律NLP数据集合集
最新发布
OpenCSG的博客
07-22 1310
简介：与 GLUE 和 SuperGLUE （ Wang et al.， 2109） 一样，我们的目标之一是推动能够处理多个 NLP 任务的通用（或基础）模型，在我们的例子中是合法的 NLP 任务，可能具有有限的特定任务微调。这些数据的用途有两方面：（1）汇总体现不同数据过滤规范和法律的标准的法律的和行政数据源;这个语料库（37GB）的大小很大，代表了所有联邦和州法院的3,446,187个法律判决，并且比最初用于训练BERT的BookCorpus/Wikipedia语料库（15GB）的大小还要大。
极限多标签学习之-FastXML运行和评价EUR-Lex4k数据集
wuyanxue的专栏
09-19 1107
FastXML运行和评价EURLex-4k数据集
一份最新的、全面的NLP文本分类综述
张伟的专栏
05-03 754
Paper：Deep Learning Based Text Classification: A Comprehensive Review（Computer Science, Mathematics-ArXiv）2020 Link：https://arxiv.org/pdf/2004.03705.pdf 这是一份最新的、全面的NLP文本分类综述，也是在你入门之后，想要进一步挖掘、深入阅读自己感兴趣的领域方向的一份指南。 文本讨论的基于深度学习的模型在各种文本分类任务（包括情感分析，新闻...
【BERT-多标签文本分类实战】之三——多标签文本分类的方向与常用数据集介绍
十一月廿七风雨大作
09-26 1万+
该数据集是来自于亚马逊，其中包括评论（评分，文字，帮助性投票），产品元数据（描述，类别信息，价格，品牌和图像特征）和链接（也可以查看/购买的图表），在做多标签文本分类得时候主要考虑的是类别信息。：是作者收集的由书籍介绍以及层次结构的写作题材组成，共有91892 个文本，四个层级，146 个类别，四个层级分别有 7，46，77，16 个类别。：是由路透社提供的人工新闻分类数据集，有超过 800000 条的数据，共有三个层级，101个类别，三个层级分别有 4，55，42 个类别。如何解决样本少的问题？
做论文常用中文摘要数据集
daotianweng的博客
03-29 3201
(1)短文本 1）哈工大LCSTS (2)中等长度 1）NLPCC2017的单文档新闻测试集合TTNews 2）NLPCC2021的字节跳动CNew_sum (3)长文本 1）NLPCC2020的CLTS，但该数据集并不好很差，大量摘要为正文摘抄抽取。
中文自然语言处理医疗、法律等公开数据集整理分享
lqfarmer的博客
01-11 3443
本文整理了一批医疗、法律等相关的公开数据集，涉及医疗相关的专业词汇分词、问答和医疗实体识别，以及法律文本分类、情感分析和评价相关的数据集。 资源整理自网络，源地址：https://github.com/OYE93/Chinese-NLP-Corpus 分词、词性标注 实体识别 法律文本分类 情感分析 医疗领域分词、实体识别、问答数据...
机器翻译模型Transformer代码详细解析
热门推荐
mijiaoxiaosan的博客
07-10 5万+
谷歌一个月前发了一篇论文Attention is all you need,文中提出了一种新的架构叫做Transformer，用以来实现机器翻译。论文发出不久，就有人用tensorflow实现了Transformer模型,本文对其代码进行细致的分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

诸神缄默不语

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值