字符串精确分词

题目描述

给定一个连续不包含空格的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、分号、句号），同时给定词库，对该字符串进行精确分词。

说明：

精确分词：字符串分词后，不会出现重叠。即"ilovechina"，不同词库可分割为"i,love,china"，“ilove,china”，不能分割出现重叠的"i,ilove,china"，i 出现重叠

标点符号不成词，仅用于断句

词库：根据外部知识库统计出来的常用词汇例：dictionary = [“i”, “love”, “china”, “lovechina”, “ilove”]

分词原则：采用分词顺序优先且最长匹配原则

“ilovechina”，假设分词结果 [i,ilove,lo,love,ch,china,lovechina]，则输出 [ilove,china]

错误输出：[i,lovechina]，原因：“ilove” > 优先于 “lovechina” 成词

错误输出：[i,love,china]，原因：“ilove” > "i"遵循最长匹配原则

输入描述

第一行输入待分词语句 “ilovechina”

字符串长度限制：0 < length < 256
第二行输入中文词库 “i,love,china,ch,na,ve,lo,this,is,this,word”

词库长度限制：1 < length < 100000

输出描述

按顺序输出分词结果 “i,love,china”

例1

输入
ilovechina
i,love,china,ch,na,ve,lo,this,is,the,word
输出
i,love,china

例2

输入
iat
i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
输出
i,a,t
说明
单个字母，

不在词库中且不成词则输出单个字母

例3

输入
ilovechina,thewordisbeautiful
i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful
输出
i,love,china,the,word,is,beauti,ful
说明
标点符号为英文标点符号

Python 代码实现

class Node:
    def __init__(self):
        self.pas = 0
        self.end = 0
        self.childs = {}

# 前缀树
class Trie:
    def __init__(self):
        self.root = Node()

    def insert(self, word):
        if len(word) == 0:
            return
        node = self.root
        node.pas += 1
        for char in word:
            if char not in node.childs:
                node.childs[char] = Node()
            node = node.childs[char]
            node.pas += 1
        node.end += 1

    def prefixNums(self, word):
        if len(word) == 0:
            return 0
        node = self.root
        for char in word:
            if char not in node.childs:
                return 0
            node = node.childs[char]
        return node.pas


def get_words(sentence, dictionay):
    trie = Trie()
    # 生成前缀树
    for word in dictionay:
        trie.insert(word)
    res = []
    L = 0
    while L < len(sentence):
        if sentence[L].isalpha():
            R = L
            while R <= len(sentence):
                # R 碰到非字母字符必发生最长前缀越界
                if trie.prefixNums(sentence[L:R+1]) == 0:
                    # 这个char不在root.child里
                    if R == L:
                        res.append(sentence[L])
                        L += 1
                        break
                    # R > L 的情况
                    else:
                        # 因为是sentence[L:R+1] 刚越界，所以前面sentence[L:R]就是最长前缀了
                        res.append(sentence[L:R])
                        L = R
                        break
                # R 刚越界，但sentence[L:R] 有这个前缀，直接将sentence[L:R]加入到结果中，并且立马返回res
                elif R == len(sentence) and trie.prefixNums(sentence[L:R]) != 0:
                    res.append(sentence[L:R])
                    return ','.join(res)
                R += 1
        else:
            L += 1
    return ','.join(res)


sentence = 'ilovechina,thewordisbeautiful'
dictionay = 'i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful'.split(',')

print(get_words(sentence, dictionay))

如果这篇文章对您有所帮助
❤️求点赞！！！求收藏！！！求关注！！！❤️
如果有什么不懂也可以评论区留言一起讨论。