逆向最大匹配法分词(补充)

def cut_word(sentence, word_dic):
    """
    逆向最大匹配分词器
    sentence:待切分的句子
    word_dic:字典
    """
    # 寻找字典中最大词的长度
    word_length_list = [len(word) for word in word_dic]
    max_length = max(word_length_list)

    # 创建一个列表用来存放切分结果
    cut_word_list = []
    # 判断句子的长度是否为 0 ,若为 0 ,则句子为空
    while sentence:
        cut_length = min(max_length, len(sentence))
        # 取前 max_cut_length 个字组成一个词
        
        while cut_length >= 1:
            word = sentence[-cut_length:]
            if cut_length == 1 or word in word_dic:
                cut_word_list.insert(0,word)
                break
            cut_length -= 1

        sentence = sentence[0:len(sentence) - len(word)]

    return cut_word_list

在前文同样的数据集中准确率为86% 略好一些86%

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值