HanLP:pyhanlp python中文分词,以及加入自定义词典

fw = open(HanLP_save_path, 'w', encoding='utf-8')    # 分词结果保存
with open(origin_path, 'r', encoding='utf-8') as fr:  # 需要分词的文档
    for line in fr:
        line = line.strip()
        word_list = HanLP.segment(line)  # 返回是一个列表[女性/n, ,/w, 88/m, 岁/qt, ,/w, 农民/nnt, ]
        # print(word_list)
        for term in word_list:    # 分词结果格式:单词和词性。term.word, term.nature:获取单词与词性
            # print(term.word)
            fw.write(term.word + ' ')
        fw.write('\n')
fw.close()

使用自定义词典:

例如加入自己整理的词典:ccks2017.txt(只有词,没有词性词频)

注意:

      词典中词之间不能有空格,因为官方词典每行格式:[单词] [词性A] [A的频次] [词性B] [B的频次]... 

     有看到说有空格,保存成csv格式,但是运行结果发现,分词效果不好。然后我就选择把带空格的给删了,哈哈~

1、把词典放到下面的路径:..\Anaconda3\Lib\site-packages\pyhanlp\static\data\dictiona

评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值