引子:最近做的项目用到了pynlpir进行分词,但是发现在ubuntu环境下,对带有中文路径的文件不能进行分词
原因:直接调用pynlpir的分词文件函数:nlpir.FileProcess(sSrcFileName, sDstFileName, False)失败,应该是pynlpir在ubuntu环境下对中文路径的解析发生问题。
下面是我自己封装的一个函数,当然这个代码在windows环境下是可以对带有中文路径的文件分词成功的
from pynlpir import *
import codecs
def splitFile(sSrcFileName, sDstFileName):
if not nlpir.Init(nlpir.PACKAGE_DIR, nlpir.UTF8_CODE, None):
logging.INFO("初始化分词器失败")
return False
if isinstance(sSrcFileName , unicode):
sSrcFileName = sSrcFileName.encode("utf-8")
if isinstance(sDstFileName , unicode):
sDstFileName = sDstFileName.encode("utf-8")
nlpir.FileProcess(sSrcFileName, sDstFileName, False)
nlpir.Exit()
return True
解决方法:
既然我们直接调用它的分词文件函数不能成功,不妨换一个思路。我们自己循环读取文件每一行,对每一行分词,并将分词的结果写入到输出文件,基于这个思路,自己实现了如下的分词文件函数,在windows和ubuntu环境下对带有中文路径的文件分词进行测试,均成功。
本着王道论坛的:赠人玫瑰,收留余香的精神
我决定把这个困扰我一个多星期问题的解决代码贡献出来:
<pre name="code" class="python">from pynlpir import *
import codecs
# 自己封装的对文件进行分词的函数:循环读取文件每一行,对每一行的分词结果写入文件
def splitFile_bySentence(sSrcFileName, sDstFileName):
if not nlpir.Init(nlpir.PACKAGE_DIR, nlpir.UTF8_CODE, None):
logging.INFO("初始化分词器失败")
return False
#如果路径是unicode字符串,需要转换为由utf-8编码的普通字符串
'''
if isinstance(sSrcFileName , unicode):
sSrcFileName = sSrcFileName.encode("utf-8")
if isinstance(sDstFileName , unicode):
sDstFileName = sDstFileName.encode("utf-8")
'''
#循环读取输入文件的每一行内容并进行分词,不要指定编码格式,否则发生错误
#fr = codecs.open(sSrcFileName, "r", "utf-8")
fr = codecs.open(sSrcFileName, "r")
result = ""
flag = True
lines = fr.readlines()
for line in lines:
line = line.strip("\n").strip("\r")
print "line:%s" % line
if line:
sResult = nlpir.ParagraphProcess(line, False)
result += sResult + "\n"
fr.close()
if result != "":
#outFile = codecs.open(sDstFileName, "w", "gbk")
outFile = codecs.open(sDstFileName, "w")
outFile.write(result)
outFile.close()
else:
sErrorInfo = "对文件:%s 分词失败" % sSrcFileName
print sErrorInfo
logging.critical(sErrorInfo)
flag = False
nlpir.Exit()
return flag
需要注意的一个问题:打开输入文件和输出文件时均不要指定编码方式,否则会发生错误
<pre name="code" class="python">fr = codecs.open(sSrcFileName, "r")
outFile = codecs.open(sDstFileName, "w")