读论文-NN-symbolic做判决预测

链接：https://kunkuang.github.io/papers/AAAI21-Law_Reasoning.pdf
Judgment Prediction via Injecting Legal Knowledge into Neural Networks
通过将法律知识变成FOL规则注入神经网络提高性能

关键思想：

将声明性法律知识编译为FOL规则，然后使用映射函数将符号规则转换为连续的实际值，重新加权之前网络的输出y，以便当文本中的事实满足法律知识中的前提条件时，y的相关值增加，否则，y的值将减小。从而调节深度学习模块的输出。最终预测y0由深度学习模块和符号知识模块决定。

摘要：

法律判决预测（LJP）是法律人工智能中的一个关键问题，旨在根据描述法律案件事实的给定文本预测法律案件的判决。以前的大多数工作将LJP视为文本分类任务，并通常采用基于深度神经网络（DNN）的方法来解决它。然而，现有的基于DNN的模型对数据非常渴求，很难解释做出这种预测所依据的法律知识。因此，将法律知识注入神经网络以解释模型并提高性能仍然是一个重要问题。在本文中，我们建议将声明性法律知识表示为一组一阶逻辑规则，并将这些逻辑规则显式地集成到基于协同注意网络的模型中。逻辑规则的使用增强了具有直接逻辑推理能力的神经网络，并使模型更易于解释。
我们以私人贷款场景为案例研究，并通过对收集的数据集进行的综合实验和分析，证明了所提出方法的有效性。

LJP

LJP的目标是根据给定文本预测法律案件的判决，该文本描述了法律案件的发现事实。

为了明确地教授神经网络法律知识，我们建议将DNN与符号法律知识模块相结合，该模块包含一组一阶逻辑（FOL）规则。使用FOL表示领域知识已经证明了其在许多其他任务中的有效性。将法律知识表示为一阶逻辑规则的优点有两个方面。首先，它使判决预测更易于解释，这在法律领域至关重要。其次，逻辑规则为模型提供了归纳偏差，这降低了神经网络对数据的依赖性。据我们所知，我们是第一个将神经网络与表示为FOL规则的法律知识相结合的。

归纳偏置：

归纳是自然科学中常用的两大方法（归纳与演绎，induction and deduction)之一,指的是从一些例子中寻找共性、泛化，形成一个比较通用的规则的过程；而“bias”“偏置”是指我们对模型的偏好。因此归纳偏置可以理解为，从现实生活中观察到的现象中归纳出一定的规则，然后对模型做一定的约束，从而可以起到“模型选择”的作用，即从假设空间中选择出更符合现实规则的模型。类似贝叶斯学习中的“先验，prior”，但与“先验”不同的是，“先验”一般是确定性的已知、知识，而“偏置”更倾向于是一种经验性的假设。

协同注意力

注意力机制就像人带着问题去阅读， 先看问题，再去文本中有目标地阅读寻找答案。
机器阅读则是结合问题和文本的信息，生成一个关于文本段落各部分的注意力权重，再对文本信息进行加权。
注意力机制可以帮助我们更好地去捕捉段落中和问题相关的信息。
协同注意力
协同注意力是一种双向的注意力， 再利用注意力去生成文本和问句的注意力。
给文本生成注意力权值
给问句生成注意力权值
协同注意力分为两种方式：
Parallel Co-Attention : 两种数据源A和B，先结合得到C，再基于结合信息C对A和B分别生成对应的Attention。同时生成注意力
Alternating Co-Attention： 先基于A产生B的attention，得到新的B；再基于新B去产生A的attention。两次交替生成注意力
具体参考https://plmsmile.github.io/2018/03/14/31-co-attention-vqa/

框架

我们提出的模型通过概率逻辑将基于梯度的深度学习模块与不可微符号知识模块统一起来。

具体而言，深度学习模块首先基于co-attention机制构建，这可以有利于事实描述和声明之间的信息交互。然后，深度学习模块的输出，即用于判断的预测概率分布，将被馈送到符号模块。然后，符号模块中的逻辑规则调整概率分布，以避免输出违反规律。

统一这两个模块的另一个障碍是FOL规则的非微分特性。为了使统一模型能够以端到端的方式进行训练，我们定义了一些映射函数，以将逻辑规则的离散输出转换为连续实值。

我们将法律知识表述为一组一阶逻辑规则，并将这些符号规则集成到基于协作网络的模型中。
请注意，我们的方法的一个优点是，它可以将法律知识注入DNN，而无需添加额外的训练参数。
$F=w_1$