ai命名实体识别模型_命名实体识别（医疗文本）

命名实体识别(医疗文本)

LSTM

最后更新 2020-09-02 10:34

阅读 356

最后更新 2020-09-02 10:34

阅读 356

LSTM

#简介

医疗文本是nlp处理下的一个细分方向，本文介绍了基于tensorflow 1.14.0以及使用bilstm+crf的模型来处理医疗文本的方法。全文从数据预处理开始到最终如何评估都有较为详细的介绍。

##1.数据预处理

###1.1文本获取

获取disease NER原始文献，登录全球最著名的生物医疗文献数据库pubmed：

https://pubmed.ncbi.nlm.nih.gov/term=disease%5BTitle%2FAbstract%5D

用“disease [Title/Abstract]”为搜索条件，得到将近300w篇摘要，先取其中500篇尝试。

###1.2文本处理

将下载好后的文本进行预处理，因为下载好的文本里保存有作者信息等其他无关紧要的信息，我们需要使用re匹配去找到所有的摘要内容。以“PMID:”为唯一标识来匹配出所有文献的摘要信息并为每篇摘要保存为单独的list。

###1.3one-hot编码

采用onr-hot对数据集编码，首先我们需要建立word2id，也就是单词和id相匹配的字典：

> ```python

def read_dictionary(vocab_path):

"""

:param vocab_path:

:return:

"""

<