【文献阅读】基于深层语言模型的古汉语知识表示及自动断句研究

概述：BERT+CRF/CNN实现古文知识表示和断句

2 古汉语自动断句模型

条件随机场是一种经典的序列标注模型，在中文分词、词性标注、命名实体识别等自然语言处理任务中均有着广泛应用
Ｚｈｅｎｇ Ｘ，ＣｈｅｎＪ，Ｓｈａｎｇ Ｇ．Ｄｅｅｐ ｎｅｕｒａｌｎｅｔｗｏｒｋ－ｂａｓｅｄＣｈｉｎｅｓｅｓｅｍａｎｔｉｃｒｏｌｅｌａｂｅｌｉｎｇ［Ｊ／ＯＬ］．ＺＴＥＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１８：１－１２．ｈｔｔｐ：／／ｋｎｓ．ｃｎｋｉ．ｎｅｔ／ｋｃｍｓ／ｄｅｔａｉｌ／３４．１２９４．ＴＮ．２０１８０１０２．１０４５．００２．ｈｔｍｌ．［２０１８－０１－０２］

由于 ＣＲＦ模型预测时仅能考虑当前位置及之前位置的特征，未能充分地利用上下文信息进行断句，造成了一些断句错误

3 实验及评估

3.1 数据集

古汉语深层语言模型训练

殆知阁古代文献藏书２.０版语料库

计３３亿字，繁简体字混合出现

ｚｈｃｏｎｖ工具将文本统一转成简体

获取带标点的文言文语 料８１６３９８８
条（以段落为单位）

自动断句任务

Ｇｉｔｈｕｂ中华古诗词数 据 库 ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｃｈｉｎｅｓｅ－ｐｏｅｔｒｙ／ｃｈｉｎｅｓｅ－ｐｏｅｔｒｙ

带 标 点 的 古 诗 词 数 据，其 中 诗３１１６９１首，词 ２０６４３ 首

3.2 模型及参数设置

3.3 实验结果

BERT优势

• 第一，能够较好地捕捉古诗文表达的节奏感和韵律感
• 第二，对上下文信息的利用较为充分，实 现 语序、语法、语义、语境等信息的编码。