Legal Judgment Prediction via Multi-Perspective Bi-Feedback Network

Legal Judgment Prediction via Multi-Perspective Bi-Feedback Network

Title:Legal Judgment Prediction via Multi-Perspective Bi-Feedback Network

Author:Wenmian Yang,Weijia Jia,Xiaojie Zhou and Yutao Luo Department of Computer Science and Engineering, Shanghai Jiao Tong University, China State Key Lab of IoT for Smart City, CIS, University of Macau, Macao, SAR China

Motivation

现有法律预测方法忽略了子任务结果之间的拓扑依赖关系，本文提出了一种基于子任务间拓扑结构的多视角双反馈网络，该网络具有词语搭配注意机制。具体来说，本文设计了一个多视角的前向预测和后向验证框架来有效利用多个子任务之间的依赖关系。为了区分描述相似但惩罚不同的案件，我们通过注意力机制将事实描述的词语搭配特征整合到网络中。

Model

本文提出的MPBFN-WCA主要包括三个内容，解码器、MPBFN(multi-perspective bi-feedback network)、WCA(word collocation attention)机制

用于事实描述的神经编码器

对于word embedding sequence X,用卷积矩阵Wc做卷积操作：其中X是第i个窗口内嵌入的单词连接，b是偏置向量，d是过滤器的数量，h是滑动窗口的长度，对每个窗口i应用卷积得到C={c1,c2,......,ci}

在c上通过应用max-pooling，最终得到事实语义向量

1. MPBFN（多视角双反馈网络）

多个任务的结果之间的拓扑关系

前向预测

将结果分布resi与潜态矩阵si结合，得到基于结果的潜态向量lsvi

 

将lsvi映射到相应的语义空间

基于任务i的事实语语义向量

对任务i的每个后续任务j进行预测

 

逆向验证

相反，每个任务的结果可对前向任务进行验证，将lsvi映射到前向任务的门向量空间。

使用sigmoid函数根据task i的结果判断task j的每类结果是否可用

多视角集成

在得到FP和BV的结果后，将这些多视角结果合并起来，计算每个任务的最终结果。

 

得到任务i的最终预测：

1. WCA

Number embedding

提出一种基于位的数字嵌入方法来获得数字嵌入，我们通过嵌入层将每个数字映射到语义空间中。

将数字语义向量numi与其对应单元的字嵌入向量xk合并

Collocation attention

将两个单词向量合并，通过LSTM得到搭配语义向量

设计一个注意机制来获得基于结果的搭配语义向量e

其中：

是基于任务j的搭配i的注意值

将基于搭配的语义向量ectj与事实语义向量factj，得到混合语义向量

Dataset

Result

 

Conclusion

本文主要研究基于结果的多任务拓扑依赖关系，借助基于多任务间的拓扑结构，采用多角度前向预测和反向验证来提高多任务处理的性能，此外，本文提取了事实描述中的搭配，并结合注意力机制来减少惩罚预测的误判，实验结果表明，MPBFN-WCA在所有的判断预测任务上都比baselines有着显著的改进。