Re19：读论文 Paragraph-level Rationale Extraction through Regularization: A case study on European Court-CSDN博客

本文链接：https://blog.csdn.net/PolarisRisingWar/article/details/126041320

本文探讨了一种新的方法，即在多段落结构的法院案例中提取段落级的理由（rationale），以提高预测法律条款违反的可解释性。研究提出了一个新的数据集ECtHR，并引入了singularity约束作为正则化器，以改进模型的解释性能。实验表明，这种方法能够有效提升预测的可解释性和准确性，并且是第一个在Transformer模型中端到端微调rationale extraction的工作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

诸神缄默不语-个人CSDN博文目录

论文名称：Paragraph-level Rationale Extraction through Regularization: A case study on European Court of Human Rights Cases
论文ArXiv下载地址：https://arxiv.org/abs/2103.13084
论文NAACL官方下载地址：https://aclanthology.org/2021.naacl-main.22/（有官方视频。本博文中非来自论文的插图都截取自该视频）
本文提出的ECtHR数据集的huggingface下载地址：ecthr_cases · Datasets at Hugging Face

本文是2021年NAACL论文。
任务：alleged violation prediction预测事实描述文本对应违反的法条（highly skewed multi-label text classification task）+可解释性（rationale extraction）
rationale extraction：提取案例文本中用于为预测结果提供解释的段落（paragraph-level）

为了提高alleged violation prediction任务中的可解释性（interpretability或explainablity），从用户中心的角度出发对决策结果提供合理的解释。本文通过rationale extraction来实现这一目标，以前的主流方法都集中在word-level rationales，而本文是从multi-paragraph structured court cases中抽取自然段。除此之外，本文还提出了一个有标注rationales的数据集ECtHR。本文使用了已有的rationale constraints（ sparsity, continuity, and comprehensiveness），并新提出了singularity，作为regularizers。

1. Background

rationalization by construction方法论：直接用constraint来正则化模型，对模型决策基于正确rationales的情况给与reward，而非事后根据模型决策结果推理可解释性
the model is regularized to satisfy additional constraints that reward the model, if its decisions are based on concise rationales it selects, as opposed to inferring explanations from the model’s decisions in a post-hoc manner
可解释性的意义：right to explanation
执法过程：

2. 模型

2.1 Novelty

previous work on word-level rationales for binary classification→paragraph-level rationales
第一个在端到端微调预训练Transformer模型中应用rationale extraction的工作
不需要人工标注的rationales

2.2 模型

constraint：以前就有的sparsity, continuity（实验证明无效）, and comprehensiveness（需要根据multi-label范式进行修正），本文新提出的singularity（能提升效果，而且鲁棒）

baseline HIERBERT-HA：text encoder→rationale extraction→prediction

在这里插入图片描述

在视频中放的图是：
在这里插入图片描述

词级别的正则器
①分别编码每个段落：context-unaware paragraph representations
②用2层transformer编码contextualized paragraph embeddings
③全连接层（激活函数selu）
K→用于分类
Q→用于rationale extraction→每个段落分别过全连接层+sigmoid，得到soft attention
scores→binarize，得到hard attention scores
④得到hardmasked document representation（hard mask+max pooling）（不可微，所以有一个训练trick）
⑤全连接层+sigmoid
baseline HIERBERT-ALL：不mask事实
constraint：
①Sparsity：限制选择出的事实的数目
②Continuity：于本文模型无用，但还是实验了
③Comprehensiveness：留下的段落生成的结果比扔掉的要好多少，或者比较两种段落的余弦相似度
④Singularity：选出的mask比随机的要好
Rationales supervision：noisy rationale supervision

在这里插入图片描述