Jieba
github地址:github.com/fxsjy/jieba
import jieba
s = '显然,姜青娥将于今日挑战学府七星柱的事情,已经传开。这倒是并不奇怪,因为姜青娥在圣杯战结束后,她就向学府作了申请,而这种打破纪录的事情,学府自然是乐于所见,所以在临近挑战的日子时,就将这震撼性的消息公布了出来'
jieba.load_userdict('user.txt')
# txt内容
# 七星柱 15 n
# 圣杯战 15 n
# 精确模式
print(jieba.lcut(s))
# 关闭HMM模式
print(jieba.lcut(s,HMM = False))
# 全模式
print(jieba.lcut(s,cut_all=True))
# 搜索引擎模式
print(jieba.lcut_for_search(s))
### 词性标注
import jieba.posseg as pseg
print('词性标注',pseg.lcut('吴孟达出演过的电影'))
#print('词性标注',pseg.lcut('吴孟达出演过的电影',use_paddle = True))
# 关键词提取
import jieba.analyse
print(jieba.analyse.extract_tags(s,topK=10))
# 增加权重显示
print(jieba.analyse.extract_tags(s,topK=10,withWeight=True))
print(jieba.analyse.textrank(s,topK=10,withWeight=True))
# 根据词性过滤
print(jieba.analyse.textrank(s,topK=10,allowPOS=('n','a')))
nlpir
下面有Python封装版的可以用
GitHub - tsroten/pynlpir: A Python wrapper around the NLPIR/ICTCLAS Chinese segmentation software.