jieba 中文处理

一、基于 TF-IDF 算法的关键词抽取
import jieba.analyse
jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
sentence 为待提取的文本
topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选

import jieba.analyse as analyse
lines = open('G:/NBA.txt',encoding='utf-8').read()
print(' '.join(analyse.extract_tags(lines,topK=20,withWeight=False,allowPOS=())))


输出：
'''
韦少 杜兰特 全明星 全明星赛 MVP 威少 正赛 科尔 投篮 勇士 球员 斯布鲁克 更衣柜 NBA 三连庄 张卫平 西部 指导 雷霆 明星队
'''

二、词性标注
1、jieba.posseg.POSTokenizer(tokenizer=None) 新建自定义分词器，tokenizer 参数可指定内部使用的 jieba.Tokenizer 分词器。jieba.posseg.dt 为默认词性标注分词器。
2、标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
3、具体的词性对照表参见计算所汉语词性标记集

import jieba.posseg as pseg
words = pseg.cut('我爱自然语言处理'