python12315消费者投诉举报咨询信息文本挖掘_python 文本挖掘

分词

def getSeg(text,wd_dict):#定义分词的判断条件

if not text:

return “”

if len(text)==1:

return text

if text in wd_dict:

return text

else:

new_length=len(text)-1

text=text[0:new_length]

res=getSeg(text,wd_dict)

return res

def main (text_str,n_len,dict_name): #定义最大正向匹配

text_str=text_str.strip()#去除字符串前后空格

max_len=n_len#定义最大匹配分词长度

result_str=''#保存要输出的结果

while text_str:

new_text=text_str[0:max_len]

seg_str=getSeg(new_text,dict_name)

result_str=result_str+seg_str+'/'

seg_len=len(seg_str)

text_str=text_str[seg_len:]

return result_str

print('分词结束')

jieba分词：安装pip install jieba

支持三种分词模式：

精确模式：试图将句子最精确的分开，适合文本分析

全