HanLP：pyhanlp python中文分词，以及加入自定义词典

fw = open(HanLP_save_path, 'w', encoding='utf-8')    # 分词结果保存
with open(origin_path, 'r', encoding='utf-8') as fr:  # 需要分词的文档
    for line in fr:
        line = line.strip()
        word_list = HanLP.segment(line)  # 返回是一个列表[女性/n, ，/w, 88/m, 岁/qt, ，/w, 农民/nnt, ]
        # print(word_list)
        for term in word_list:    # 分词结果格式：单词和词性。term.word, term.nature：获取单词与词性
            # print(term.word)
            fw.write(term.word + ' ')
        fw.write('\n')
fw.close()

使用自定义词典：

例如加入自己整理的词典：ccks2017.txt（只有词，没有词性词频）

注意：

      词典中词之间不能有空格，因为官方词典每行格式：[单词] [词性A] [A的频次] [词性B] [B的频次]... 

     有看到说有空格，保存成csv格式，但是运行结果发现，分词效果不好。然后我就选择把带空格的给删了，哈哈~

1、把词典放到下面的路径：..\Anaconda3\Lib\site-packages\pyhanlp\static\data\dictionary\custom

2、把词典加入到配置文件 hanlp.properties

注意红色框里的内容，路径问题：CustomDictionary.txt; ccks2017.txt;两个是在同一个目录，

其次优先级问题：所以选择了放在前面（默认词性默认是名词n）

3、清除缓存CustomDictionary.txt.bin，之后运行才会加载新的文件。（敲重点！！！不清除自定义字典可能不起作用）

#rm -f CustomDictionary.txt.bin    这里本宝宝选择的手动删除此文件

4、执行分词代码就ok了

参考：https://github.com/hankcs/HanLP

8. 用户自定义词典

jieba、HanLP、PKUSeg分词结果比较（仅限于我的实验总结，仅供参考）：

HanLP 和 Jieba 比PKUSeg要好。

不加自定义词典，Jieba好一些，加入自定义词典HanLP好一些