cnn 示意图_基于BERT+CNN及GRU语言模型的司法考试问答模型

在上文[1]提到的BERT+CNN司法考试模型的基础上，对模型结构和参数进行了调整，调整后增加了CNN层数，示意图如图1：

图1 BERT编码后接入的CNN结构示意图

其中详细参数见图2：

图2 CNN和输出层的网络结构参数

在给出的司法考试训练集上，模型的精度为：单选0.2765，复选0.1397，合计0.1989。

在上述CNN基础上，引入了GRU网络结构，BERT表征后，接入4层双向GRU模型，输出连接100维全连接层，与CNN的600维全连接层合并后，接入输出层。改进模型的精度为：单选0.2723，复选0.2098，合计0.2376。

对单复选分类GBT模型进行了调整，引入四个选项特征，模型精度由67.3%提升至71.5%。在测试集与训练集数据分布完全一致的前提下，联合叙述和选