基于自适应词嵌入RoBERTa-wwm的名中医临床病历命名实体识别研究

摘要

为了解决中文医疗命名实体识别任务中语义缺失、命名实体嵌套等问题，提升名中医临床病历中的实体识别效果，提出基于自适应词嵌入RoBERTA-wwm的名中医临床病历命名实体识别模型。病历中原始文本经过RoBERTa-wwm预训练模型得到的初始向量采用Soft-lexicon方法动态融合词典信息，进行词汇增强，生成文本语义向量经过下游双向长短期记忆（BiLSTM）学习序列依赖关系，最终经过条件随机场（CRF）解码提取出实体。该模型在名中医李铁军治疗心血管疾病的临床病历数据集上取得86.88%的F1值，较RoBERTa-wwm-CRF、Bert-CRF模型分别提高5.93%、5.87%，在速度上也有所提升。在常规RoBERTA-wwm模型中引入自适应词嵌入进行词汇增强，使模型更好地学习文本语义信息，相较于其他基线模型，其在名中医临床病历命名实体识别任务方面具有显著优势。

0　引言

近年来，人工智能技术飞速发展，国内外研究者们尝试将之应用于医疗领域大规模电子病历（Electronic Medical Record， EMR