分词的作用
分词是自然语音处理中极其重要的一部分
主要作用就是将文本切分开
最常用的分词方法就是python的jieba分词
Python2.X
pip install jieba
Python3.X
pip install jieba3k
-
支持三种分词模式:
-
精确模式,试图将句子最精确地切开,适合文本分析;
-
全模式,把句子中所有的可以成词的词语都扫描出来, 速度非常快,但是不能解决歧义;
-
搜索引擎模式,在精确模式的基础上,对长词再次切分,提高召回率,适合用于搜索引擎分词。
-
-
支持繁体分词
-
支持自定义词典
import jieba seg_list = list(jieba.cut("我来到北京清华大学", cut_all=False)) print("精准模式: " + "/ ".join(seg_list)) # 精确模式 seg_list = jieba.cut("我来到北京清华大学", cut_all=True) print("全模式: " + "/ ".join(seg_list)) # 全模式 seg_list = jieba.cut_for_search("我来到北京清华大学") # 搜索引擎模式 print(", ".join(seg_list)) seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所,后在日本京都大学深造") # 搜索引擎模式 print(", ".join(seg_list))
导入自定义词典
import jieba import jieba.posseg as pseg jieba.load_userdict("da.txt")#读取自己修改的词,词频,词性 words = pseg.cut("恢复默认停靠状态")#开始分词 for w in words: if(w.flag in ('v' 'n' 'ns')): print('%s %s' % (w.word, w.flag))#分词的词语及词性 words1 = pseg.cut("打开地图") for x in words1: if(x.flag in ('v' 'n' 'ns')): print('%s %s' % (x.word, x.flag))
jieba.load_userdict(" ")
-
da.txt在该py文件相同目录下
-
内容为
-
恢复 9999999999 ns 默认停靠状态 4 n 打开 99999999 n 地图 999999 n
- 以词语,词频,词性的形式进行存储
- 以替换jieba本身的词库
- lcut只在jieba中可以使用,在jieba3k中不可以使用
- 用cut可以完成分词的任务