中文分词工具

jieba分词

import jieba

text = '林花谢了春红，太匆匆。无奈朝来寒雨晚来风。胭脂泪，相留醉，几时重。自是人生长恨水长东。' #李煜的《相见欢·林花谢了春红》

result = '/'.join(jieba.cut(text, cut_all=False))

print(result)

jieba分词结果：
林花谢/了/春红/，/太/匆匆/。/无奈/朝来/寒雨晚/来风/。/胭脂/泪/，/相留/醉/，/几时/重/。/自是/人/生长/恨/水长东/。

pkuseg分词

import pkuseg

text = '林花谢了春红，太匆匆。无奈朝来寒雨晚来风。胭脂泪，相留醉，几时重。自是人生长恨水长东。'

seg = pkuseg.pkuseg()

result = '/'.join(seg.cut(text))
print(result)

pkuseg分词结果：
林花/谢/了/春红/，/太/匆匆/。/无奈/朝/来/寒雨/晚/来/风/。/胭脂泪/，/相留/醉/，/几时/重/。/自/是/人生/长恨/水/长东/。

thulac分词

import thulac

texts = '林花谢了春红，太匆匆。无奈朝来寒雨晚来风。胭脂泪，相留醉，几时重。自是人生长恨水长东。'

thu = thulac.thulac(seg_only=True)
result = thu.cut(texts, text=True).replace(' ', '/')

print(result)

thulac分词结果：
林花谢/了/春红/，/太/匆匆/。/无奈/朝/来/寒雨/晚/来/风/。/胭脂/泪/，/相留醉/，/几/时/重/。/自/是/人/生长/恨水长东/。

import jieba
import pkuseg
import thulac

txt = "我们过了江，进了车站。我买票，他忙着照看行李。\
行李太多了，得向脚夫行些小费才可过去。他便又忙着和他们讲价钱。\
我那时真是聪明过分，总觉他说话不大漂亮，非自己插嘴不可，但他终于讲定了价钱；\
就送我上车。他给我拣定了靠车门的一张椅子；我将他给我做的紫毛大衣铺好坐位。\
他嘱我路上小心，夜里警醒些，不要受凉。又嘱托茶房好好照应我。我心里暗笑他的迂；\
他们只认得钱，托他们只是白托！而且我这样大年纪的人，难道还不能料理自己么？\
唉，我现在想想，那时真是太聪明了！" # 朱自清《背影》节选

jieba_cut = '/'.join(jieba.cut(txt, cut_all=False))
print(jieba_cut)

print('#'*50)

pkuseg_cut = '/'.join(pkuseg.pkuseg().cut(txt))
print(pkuseg_cut)

print('#'*50)

thulac_cut = thulac.thulac(seg_only=True).cut(txt, text=True).replace(' ', '/')
print(thulac_cut)

结果：
我们/过/了/江/，/进/了/车站/。/我/买票/，/他/忙/着/照看/行李/。/行李/太多/了/，/得/向/脚夫/行些/小费/才/可/过去/。/他/便/又/忙/着/和/他们/讲价钱/。/我/那时/真是/聪明/过分/，/总觉/他/说话/不/大/漂亮/，/非/自己/插嘴/不可/，/但/他/终于/讲定/了/价钱/；/就/送/我/上车/。/他/给/我/拣/定/了/靠/车门/的/一张/椅子/；/我/将/他/给/我/做/的/紫毛/大衣/铺/好/坐位/。/他嘱/我/路上/小心/，/夜里/警醒/些/，/不要/受凉/。/又/嘱托/茶房/好好/照应/我/。/我/心里/暗笑/他/的/迂/；/他们/只/认得/钱/，/托/他们/只是/白托/！/而且/我/这样/大/年纪/的/人/，/难道/还/不能/料理/自己/么/？/唉/，/我/现在/想想/，/那时/真是太/聪明/了/！
##################################################
我们/过/了/江/，/进/了/车站/。/我/买/票/，/他/忙/着/照看/行李/。/行李/太/多/了/，/得/向/脚/夫行/些/小费/才/可/过去/。/他/便/又/忙/着/和/他们/讲/价钱/。/我/那时/真是/聪明/过分/，/总/觉/他/说话/不大/漂亮/，/非/自己/插嘴/不可/，/但/他/终于/讲定/了/价钱/；/就/送/我/上车/。/他/给/我/拣定/了/靠/车门/的/一/张/椅子/；/我/将/他/给/我/做/的/紫毛/大衣/铺/好/坐位/。/他/嘱/我/路上/小心/，/夜里/警醒/些/，/不要/受凉/。/又/嘱托/茶房/好好/照应/我/。/我/心里/暗笑/他/的/迂/；/他们/只/认得/钱/，/托/他们/只是/白托/！/而且/我/这样/大/年纪/的/人/，/难道/还/不/能/料理/自己/么/？/唉/，/我/现在/想想/，/那时/真是/太/聪明/了/！
##################################################
Model loaded succeed
我们/过/了/江/，/进/了/车站/。/我/买/票/，/他/忙/着/照/看/行李/。/行李/太/多/了/，/得/向/脚夫/行些/小费/才/可/过去/。/他/便/又/忙/着/和/他们/讲/价/钱/。/我/那时/真是/聪明过分/，/总/觉/他/说话/不/大/漂亮/，/非/自己/插/嘴/不/可/，/但/他/终于/讲定/了/价钱/；/就/送/我/上车/。/他/给/我/拣/定/了/靠/车门/的/一/张/椅子/；/我/将/他/给/我/做/的/紫毛大衣/铺/好/坐位/。/他/嘱/我/路上/小心/，/夜里/警醒/些/，/不/要/受凉/。/又/嘱托/茶房/好好/照/应/我/。/我/心里/暗笑/他/的/迂/；/他们/只/认/得/钱/，/托/他们/只是/白托/！/而且/我/这样/大年纪/的/人/，/难道/还/不/能/料理/自己/么/？/唉/，/我/现在/想想/，/那时/真是/太/聪明/了/！