切分算法---Python自然语言处理（2）

最新推荐文章于 2023-08-06 15:47:31 发布

李元静

最新推荐文章于 2023-08-06 15:47:31 发布

阅读量8.1k

点赞数 1

分类专栏： Python自然语言处理 Python 文章标签： python 自然语言处理 hanlp 正向最长匹配双向最长匹配

本文链接：https://blog.csdn.net/liyuanjinglyj/article/details/114941572

版权

本文介绍了自然语言处理中的切分算法，包括完全切分、正向最长匹配、逆向最长匹配和双向最长匹配。正向最长匹配从前往后寻找最长的词汇，逆向最长匹配从后往前寻找，双向最长匹配结合两者避免漏洞，以获取更准确的分词结果。

摘要由CSDN通过智能技术生成

前言

我们需要分析某句话，就必须检测该条语句中的词语。

一般来说，一句话肯定包含多个词语，它们互相重叠，具体输出哪一个由自然语言的切分算法决定。常用的切分算法有完全切分、正向最长匹配、逆向最长匹配以及双向最长匹配。

本篇博文将一一介绍这些常用的切分算法。

完全切分

完全切分是指，找出一段文本中的所有单词。

不考虑效率的话，完全切分算法其实非常简单。只要遍历文本中的连续序列，查询该序列是否在词典中即可。上一篇我们获取了词典的所有词语dic，这里我们直接用代码遍历某段文本，完全切分出所有的词语。代码如下：

from pyhanlp import *


def load_dictionary():
    IOUtil = JClass('com.hankcs.hanlp.corpus.io.IOUtil')
    path = HanLP.Config.CoreDictionaryPath.replace('.txt', '.mini.txt')
    dic = IOUtil.loadDictionary([path])
    return set(dic.keySet())


def fully_segment(text, dic):
    list = []
    for i in range(len(text)):
        for j in range(i + 1