python英文分词库_smallseg---又一个开源python分词库

最新推荐文章于 2024-08-08 07:06:52 发布

余时行

最新推荐文章于 2024-08-08 07:06:52 发布

阅读量1.2k

点赞数

文章标签： python英文分词库

本文链接：https://blog.csdn.net/weixin_28197941/article/details/113676457

版权

可自定义词典、返回登录词列表和未登录词列表、有一定的新词识别能力。

tutorial:

s3 = file("text.txt").read() words = [x.rstrip() for x in file("main.dic") ] from smallseg import SEG seg = SEG() print 'Load dict...' seg.set(words) print "Dict is OK." A,B = seg.cut(s3) #A是识别出的登录词列表，B是未登录词列表 for t in A: try: print t.decode('utf-8') except: pass print "============================" for t in B: try: print t.decode('utf-8') except: pass