2020.12-HanLP使用记录（持续更新：分词，NER等）

2020.12-HanLP使用记录（持续更新：分词，NER等）

目录

背景

HanLP-中文NER

HanLP-中文分词

---

背景

在中文文本预处理场景中，现有多款工具，例如jieba等。但是通过个人的使用感官尝试，发现HanLP库的分词效果，NER命名实体识别提取效果准确度都更高些，汇总一些HanLP工具的使用方法。

HanLP-中文NER

import hanlp

recognizer = hanlp.load(hanlp.pretrained.ner.MSRA_NER_BERT_BASE_ZH) # 中文NER
recognizer([list(splitText)]) # 输入可能要以list形式输入

HanLP-中文分词

import hanlp

tokenizer = hanlp.load('CTB6_CONVSEG') # 加载模型，需要一段时间
tokenizer("待分词的文本待分词的文本待分词的文本待分词的文本")