用Python的“结巴”模块进行分词

2019独角兽企业重金招聘Python工程师标准>>>

 

  之前都是用计算所的分词工具进行分词，效果不错但是比较麻烦，最近开始用Python的“结巴”模块进行分词，感觉非常方便。这里将我写的一些小程序分享给大家，希望对大家有所帮助。

下面这个程序是对一个文本文件里的内容进行分词的程序：test.py

1. #!/usr/bin/python  

2. #-*- encoding:utf-8 -*-  

3. import jieba                                                    #导入jieba模块  

4.   

5. def splitSentence(inputFile, outputFile):  

6.     fin = open(inputFile, 'r')                                  #以读的方式打开文件  

7.     fout = open(outputFile, 'w')                                #以写得方式打开文件  

8.   

9.     for eachLine in fin:  

10.         line = eachLine.strip().decode('utf-8', 'ignore')       #去除每行首尾可能出现的空格，并转为Unicode进行处理  

11.         wordList = list(jieba.cut(line))                        #用结巴分词，对每行内容进行分词  

12.         outStr = ''  

13.         for word in wordList:  

14.             outStr += word  

15.             outStr += '/ '  

16.         fout.write(outStr.strip().encode('utf-8') + '\n')       #将分词好的结果写入到输出文件  

17.     fin.close()  

18.     fout.close()  

19.   

20. splitSentence('myInput.txt', 'myOutput.txt')  

 

写完程序之后，在Linux重点输入：python test.py即可运行程序进行分词。

 

输入的文件内容如下所示：

 

 

 

经过结巴分词后，输出结果如下所示：

 

 

 

注意：第11行的 jieba.cut()返回的结构是一个可迭代的generator，可以用list(jieba.cut(...))转化为list

转载于:https://my.oschina.net/sharesuiyue/blog/743387