深度学习实现：Span方式在中医药知识图谱NER中的应用

目录

]1.引言

2命名实体识别（NER）简介

Span方式简介

3 赛事数据处理与分析

3.1 数据集加载

3.2 数据集探索性分析

3.3小结

4 方案实现

4.1 数据预处理

4.1.1 文本数据分词tokenize

4.2 自定义dataset、dataLoader

4.3 命名实体识别模型搭建

4.4 模型评估与训练

4.5 模型推断

---

]1.引言

命名实体识别 (NER) 在中医药知识图谱构建中扮演着关键角色，识别并抽取出重要的实体，如药物、疾病、症状等。本文将介绍如何基于Span方式实现中医药知识图谱的NER。

2命名实体识别（NER）简介

命名实体识别是信息抽取、问答系统、句法分析等NLP任务的重要前置步骤。其目标是识别出文本中的具有特定意义的实体，例如人名、地名、机构名、日期、专有名词等。

Span方式简介

在传统的NER任务中，通常使用BIO、BIOES等标记方式。而Span方式则是一种新型的标记方式，它直接标记出实体在句子中的起始和结束位置，有助于更准确的实体边界识别。

3 赛事数据处理与分析

3.1 数据集加载

数据集有4个包括：训练集、验证集、测试集和相关医案数据，该部分加载的数据集是经过部分处理（去掉标签中字符'B'、'I'、'-'，并把一条所有字符拼接），方便数据初始分析及后续转为span格式