fw = open(HanLP_save_path, 'w', encoding='utf-8') # 分词结果保存
with open(origin_path, 'r', encoding='utf-8') as fr: # 需要分词的文档
for line in fr:
line = line.strip()
word_list = HanLP.segment(line) # 返回是一个列表[女性/n, ,/w, 88/m, 岁/qt, ,/w, 农民/nnt, ]
# print(word_list)
for term in word_list: # 分词结果格式:单词和词性。term.word, term.nature:获取单词与词性
# print(term.word)
fw.write(term.word + ' ')
fw.write('\n')
fw.close()
使用自定义词典:
例如加入自己整理的词典:ccks2017.txt(只有词,没有词性词频)
注意:
词典中词之间不能有空格,因为官方词典每行格式:[单词] [词性A] [A的频次] [词性B] [B的频次]...
有看到说有空格,保存成csv格式,但是运行结果发现,分词效果不好。然后我就选择把带空格的给删了,哈哈~
1、把词典放到下面的路径:..\Anaconda3\Lib\site-packages\pyhanlp\static\data\dictiona