论文阅读：Factoring Statutory Reasoning as Language Understanding Challenges

Factoring Statutory Reasoning as Language Understanding Challenges

下载地址：https://arxiv.org/pdf/2105.07903.pdf

来源：ACL 2021

Abstract

法定推理是确定以自然语言表述的法律法规是否适用于案件的文本描述的任务。我们通过引入 Prolog 程序中的概念和结构，将法定推理分解为四种类型的语言理解挑战问题。为了增强现有基准，我们为四个任务提供注释，并为其中三个任务提供baseline。

Introduction

法定推理是确定法规的给定小节是否适用于给定案例的任务，其中两者都以自然语言表达。以前有两种方法解决此类问题，第一个，一个基于 Prolog 的手工制作的符号推理器被证明可以完美地解决该任务，代价是需要专家编写 Prolog 代码并将自然语言案例描述翻译成 Prolog 可理解的事实。第二种方法基于统计机器学习模型。 虽然这些模型可以通过计算得出，但它们的性能很差，因为任务的复杂性远远超过了可用的训练数据量。

我们认为模型结果不好的原因在于呈现给统计模型的法定推理没有明确说明，因为它被认为是识别文本蕴涵和线性回归。从 Prolog 程序的结构中汲取灵感，我们将法定推理重新构建为四个任务的序列，促使我们引入 SARA 数据集（第 2 节）的新扩展，称为 SARA v2。除了提高模型的性能外，附加结构使其更具可解释性，因此更适合实际应用。

Argument Identification

第一项任务与第二项任务相结合，旨在识别给定小节所代表的谓词的参数。形式上，给定一系列标记 t1, …, tn，任务是返回一组开始和结束索引 (s, e) ∈ {1, 2, …, n}2，其中每对代表一个跨度。 我们借用谓词参数对齐术语并将这些称为占位符参数。第一个任务，我们称之为参数识别，是标记小节的哪些部分表示这些占位符。我们为参数识别提供注释作为表示参数的字符级跨度。由于每个 span 都是指向相应参数的指针，因此我们将每个 span 设为最短的有意义的短语。 下图显示了有关占位符的语料库统计信息。

Argument coreference

在下图中，代表 §2(a)(1)(B) 中的纳税人的变量被引用了两次。我们将在小节级别解决此共指问题的任务称为参数共指。

（将法定推理分解为四个任务。 右侧的流程图表示任务的排序、输入和输出。 在黄色框中的法规中，参数占位符带有下划线，上标表示参数共指。 绿色框显示了其上方法规的逻辑结构。 蓝色是参数实例化的两个示例。）

保持上一段的符号，给定一组跨度 {(si , ei)}Si=1，任务是如果 spans (si , ei) 和 (sj , ej ) 表示相同的变量，则返回一个矩阵 C ∈ {0, 1}S×S 其中 Ci,j = 1，否则为 0。在前两个任务之后，我们可以为每个子部分提取一组参数。 在上图中，对于 §2(a)(1)(A)，这将是 {Taxp, Taxy, Spouse, Years}，如上图的左下角所示。

Structure extraction

法律法规的一个突出特点是存在对法规其他部分的隐含和明确的参考。 重新解决引用及其逻辑联系，并将论据从一个小节适当地传递到另一小节，是法定推理的主要步骤。我们将其称为结构提取。

我们使用常见的逻辑运算符以 Horn 子句的风格为 SARA 提供结构提取注释，如上图左下角所示。我们还为每个小节的开头和结尾提供了字符偏移量。论据识别和共指，以及结构提取只能通过法规来完成。

Argument instantiation

我们将法律法规构建为一组用自然语言指定的谓词。给定一个案例的描述，每个参数可能会或可能不会与一个值相关联。 每个小节都有一个 @truth 参数，可能的值为 True 或 False，反映该小节是否适用。具体来说，输入是 (1) 小节的字符串表示，(2) 前三个任务的注释，以及 (3) 部分或全部参数的值。参数和值表示为键值对数组，其中结构中指定的参数名称注释被作为键使用。在上图 中，将绿色框中的参数名称与蓝色框中的键名进行比较。 输出是其参数的值，尤其是 @truth 参数。 在图 1 右上角的示例中，输入值为 taxpayer = Alice 和应税年份 = 2017，一个预期输出为 @truth = True。 我们将此任务称为参数实例化。参数的值可以在案例描述中作为跨度找到，或者必须根据案例描述进行预测。

Baseline Models

我们为三个任务提供了Baseline，省略了结构提取，因为它是人工注释工作回报率最高的一项任务。

Argument identification

我们在法规上运行Stanford解析器，并将所有名词短语提取为跨度——特别是所有 NNP、NNPS、PRP$、NP 和 NML 成分。作为一种正交方法，我们为 BIO 标记任务训练了一个基于 BERT 的 CRF 模型。我们运行 7 折交叉验证，使用 1 个拆分作为开发集，1 个拆分作为测试集，其余作为训练数据。 我们使用 BERT 嵌入每个段落，将每个上下文子词嵌入分类为具有线性层的 3 维 logit，并运行 CRF。该模型使用梯度下降进行训练，以最大化目标标签序列的对数似然。

（参数识别结果）

Argument coreference

在参数共指中，链接两个共指参数的提及与不链接两个不同的参数同样重要。

Single mention baseline

在这里，我们预测没有共指链接。 在通常的共指指标下，该系统的性能可能很低。

String matching baseline

如果两个参数的占位符字符串相同，则该baseline预测一个共指链接，直到出现诸如 a、an、the、any、his 和 every 之类的词。

（精确匹配共指结果）

（使用常用指标评分的参数共指基线。 结果显示为 Precision / Re call / F1）

此外，我们提供了一系列用于论证识别和共指的最佳方法，并在表 4 中报告结果。

基于 BERT 的参数识别的精确匹配共指结果，然后是基于字符串匹配的参数共指。

Argument Instantiation

参数实例化考虑了先前任务提供的信息。 我们首先实例化单个小节的论点，而不考虑法规的结构。

Single subjection

我们通过插入参数值迭代修改小节的文本，并预测未实例化参数的值。

对于提供了值的每个参数，我们使用 INSERTVALUES（第 4 行）将小节 s 中的参数占位符替换为参数的值。我们将案例 c 的文本与小节 r 的修改文本连接起来，并使用 BERT（第 5 行）将其嵌入，产生一系列上下文子词嵌入 y = {yi ∈ R 768 |i = 1…n} .对于给定的参数 a，计算其注意力表示 s1, …, sm 及其增强特征向量 x1, …, xm。由 COMPUTEATTENTIVEREPS（第 6 行）执行。 增强的特征向量 x1, …, xm 代表论据的占位符，以法规和案例的文本为条件。

根据参数 span 的名称，我们使用 PREDICTVALUE（第 7 行）将其值 v 预测为整数或案例描述中的 span。预测值 v 被添加到预测集 P（第 8 行）中，并将在后续迭代中用于替换小节中参数的占位符。我们重复此过程，直到已为每个参数预测值，但@truth除外（第 3-9 行）。最后，我们将案例和完全接地的小节连接起来，并用 BERT 嵌入它们（第 10-11 行），然后在 [CLS] 标记的表示之上使用线性预测器来预测 @truth 参数的值（第 12 行） ）。

Subsection with dependence

为了在高层次上描述我们的过程，我们使用法规的结构来构建一个计算图，其中节点或者是带有参数值对的子部分，或者是逻辑操作。 我们逐个解析节点，深度优先。 我们将上述单小节模型视为一个函数，将一组参数-值对、一个小节的字符串表示和一个案例的字符串表示作为输入，并返回一组参数-值对。

我们开始构建由结构注释指定的子部分的依赖关系树（第 2-4 行）。首先，我们使用 BUILDDEPENDENCYTREE 构建树结构。 然后，使用 POPULATEARGVALUES 将参数值从父级传播到子级，从根向下传播。树可选地被限制在预定义的深度。 每个节点要么是单小节函数的输入或其输出，要么是逻辑运算。 然后我们先遍历树的深度，进行如下操作，将节点替换为操作的结果：

略

Conclusion

在这里，从 Prolog 程序中汲取灵感，我们通过将法定推理分解为一系列任务来引入一种新颖的范式。 与将法律语言翻译成代码所需的专业知识相比，每项任务都可以用更少的专业知识进行注释，并且具有自己的性能指标。我们的贡献能够对法定推理模型进行更细粒度的评分和调试，从而促进渐进式进展和识别性能瓶颈。