2020.12-HanLP使用记录(持续更新:分词,NER等)
目录
背景
在中文文本预处理场景中,现有多款工具,例如jieba等。但是通过个人的使用感官尝试,发现HanLP库的分词效果,NER命名实体识别提取效果准确度都更高些,汇总一些HanLP工具的使用方法。
HanLP-中文NER
import hanlp
recognizer = hanlp.load(hanlp.pretrained.ner.MSRA_NER_BERT_BASE_ZH) # 中文NER
recognizer([list(splitText)]) # 输入可能要以list形式输入
HanLP-中文分词
import hanlp
tokenizer = hanlp.load('CTB6_CONVSEG') # 加载模型,需要一段时间
tokenizer("待分词的文本待分词的文本待分词的文本待分词的文本")