司法考试方案分享

0. 任务介绍

  本任务是司法考试的客观题，题目来源于司法考试真题和模拟题等，第三阶段为2020年的真题。问题形式为给出题干和ABCD选项，做出不定项选择。评价指标为准确率，其中分为概念理解、情景分析两类题进行加权。

1. 方案一

1.1 背景介绍

  训练集的一个样例：关于《民事诉讼法》规定的特别程序的表述，下列哪一项是正确的？

A. 适用特别程序审理的案件都是非诉案件。

B. 起诉人或申请人与案件都有直接的利害关系。

C. 适用特别程序审理的案件都是一审终审。(《民事诉讼法》第十五章特别程序第187条，依照本章程序审理的案件，实行一审终审)。

D. 陪审员通常不参加适用特别程序案件的审理。

  该任务难点具有以下难点：

• 司法考试任务难度大
• 需要丰富的背景知识与多跳推理
• 训练集样本少
• 背景语料匮乏

1.2 数据处理

  数据集中存在不少重复数据，去重后剩余93%有效数据。

  很强的Baseline:同题匹配模型+QA模型，本地得分22.52。