命名实体识别学习笔记——使用Ltp

        命名实体识别(Named Entity Recognition,简称NER)用于识别文本中具有特定意义的实体。需要识别的实体可以分为三大类(实体类、时间类和数字类)和七小类(人名、机构名、地名、时间、日期、货币和百分比)。

        本文介绍使用Ltp进行命名实体识别。

1、安装Ltp Python组件

(1)pyltp安装:

pip install pyltp

(不支持conda-python)

(2)部署语言模型库:

下载链接:http://ltp.ai/download.html

解压后如图所示

cws是中文分词模型,ner是命名实体识别模型,paeser是句法解析模型,pos是词性标注模型。

2、使用Ltp进行命名实体识别

(1)代码:

import sys
import os
from pyltp import *

sent = "欧洲 东部 的 罗马尼亚 , 首都 是 布加勒斯特 , 也 是 一 座 世界性 的 城市 。"
words = sent.split(" ")

postagger = Postagger()
postagger.load("D:\\Projects\\nlp\\ltp_data_v3.3.1\\pos.model")    #导入词性标注模块
postags = postagger.postag(words)

recognizer = NamedEntityRecognizer()
recognizer.load("D:\\Projects\\nlp\\ltp_data_v3.3.1\\ner.model")    #导入命名实体识别模块
netags = recognizer.recognize(words, postags)

for word,postag,netag in zip(words,postags,netags):
    print(word+'/'+postag+'/'+netag)

(2)运行结果:

词、词性、识别的专名用“ / ”分开了,“O”表示非专名,“S-Ns”表示地名。

参考文献:

郑捷,《NLP汉语自然语言处理原理与实践》

命名实体识别标注工具是用于识别文本中具有特定意义的实体的工具。其中一些专门面向中文的命名实体识别标注工具包括Stanford CoreNLP命名实体识别、中文NLP序列标注工具等。 Stanford CoreNLP命名实体识别是一种常用的命名实体识别工具,它可以识别文本中的人名、机构名、地名、时间、日期、货币和百分比等实体类别。 中文NLP序列标注工具是另一种命名实体识别工具,它使用CRF(条件随机场)算法进行实体识别,并可以选择BIO或者BMES标注体系。该工具可以自动标注数据集并产生语料库,用于训练和研究中文命名实体识别的模型。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [中文实体命名识别工具使用汇总:Stanza、LAC、Ltp、Hanlp、foolnltk、NLTK、BosonNLP](https://blog.csdn.net/weixin_37913042/article/details/112723589)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [中文NLP命名实体识别序列标注工具YEDDA](https://download.csdn.net/download/jewelshaw/10499802)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值