NLP 中文分词-双向匹配算法（理论+Python实现）

最新推荐文章于 2024-05-12 20:46:11 发布
最新推荐文章于 2024-05-12 20:46:11 发布
阅读量5.8k 收藏 59
点赞数 11
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GW_Krystal/article/details/120607635
版权

算法 python 自然语言处理

一、理论描述

1.中文分词的概念：
是指把没有明显分界标志的字串切分为词串，包括标点符号、数字、数学符号、各种标记、人名、地名、机构名等未登录词的识别。汉语自动分词主要包括：（1）根据分词规范，建立机器词典；（2）根据分词算法和机器词典，把字串切分为词串；（3）机器学习方法和统计方法。

2.中文分词的重要性：
汉语中词是最小的独立运用单位，分词是句法分析的基础，是所有应用系统进行的第一步，是其他中文信息处理的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等都需要用到分词。只有进行了分词，才可以继续进行下面语法分析、语义分析等。

3.中文分词算法的分类：
根据有无分词词典分为有词典分词和无词典分词。根据使用的知识资源不同分为基于规则和基于统计的方法，以及两者结合的方法。
（1）基于规则的分词算法：事先人工建立好分词词典和分词规则库。原理为基于字符串匹配进行分词，要求有足够大的词表为依据。通过一定的算法来实现，如正向最大匹配法、 逆向最大匹配法、双向匹配法等。当分词词典所收容的词较少时分词的正确率低。
（2）基于统计的分词方法：把字与字间、词与词间的同现频率作为分词的依据， 可以没有建立好的词典；需要大规模的训练文本, 用来训练模型参数。优点是不受应用领域的限制，缺点是训练文本的选择将影响分词结果。

二、算法描述

本文实现双向匹配算法，具体算法描述如下：

1.正向最大匹配：
设MaxLen表示最大词长，D为分词词典。
Step1:从待切分语料中按正向取长度为MaxLen的字串str,令 Len=MaxLen;
Step2:把str与D中的词相匹配;
Step3:若匹配成功，则认为该字串为词，指向待切分语料的指针向后移Len个汉字，返回到Step1;
Step4:若不成功：如果Len>1，则将Len减1，从待切分语料中取长度为Len的字串str,返回到Step2。否则，得到长度为1的单字词，指向待切分语料的指针向前移1个汉字，返回Step1。
采用正向最大匹配得到切分结果1。

2.逆向最大匹配法：
设MaxLen表示最大词长，D为分词词典。
Step1:从待切分语料中按逆向取长度为MaxLen的字串str,令 Len=MaxLen;
Step2:把str与D中的词相匹配;
Step3:若匹配成功，则认为该字串为词，指向待切分语料的指针向前移Len个汉字，返回到Step1;
Step4:若不成功：如果Len>1，则将Len减1，从待切分语料中取长度为Len的字串str,返回到Step2。否则，得到长度为1的单字词，指向待切分语料的指针向前移1个汉字，返回Step1。
采用逆向最大匹配得到切分结果2。

3.双向匹配：
如果两个切分结果相同，则认为切分成功，否则认为有疑点。针对疑点，有两种处理策略：
（1）采用上下文信息，根据歧义规则库进行排歧；
（2）进行人工干预，选取一种切分为正确的切分。

三、详例描述

以“对外经济技术合作与交流不断扩大。”为例，详细描述算法如下：

（1）正向最大匹配：
初始化：MaxLen=3，pos=0，ResultStr=“”
Step1:Len=MaxLen=3，取str=“对外经”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“对外”；
str与D中的词匹配成功,ResultStr=“对外/”,pos=pos+Len=2
Step2:Len=MaxLen=3，取str=“经济技”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“经济”；
str与D中的词匹配成功,ResultStr=“对外/经济/”,pos=pos+Len=4
Step3:Len=MaxLen=3，取str=“技术合”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“技术”；
str与D中的词匹配成功,ResultStr=“对外/经济/技术/”,pos=pos+Len=6
Step4:Len=MaxLen=3，取str=“合作与”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“合作”；
str与D中的词匹配成功,
ResultStr=“对外/经济/技术/合作/”,pos=pos+Len=8;
Step5:Len=MaxLen=3，取str=“与交流”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“与交”；
str与D中的词匹配不成功,Len=Len-1=1，取str=“与”；
Len=1，单字直接作为一个词加入结果,
ResultStr=“对外/经济/技术/合作/与/”,pos=pos+Len=9;
Step6:Len=MaxLen=3，取str=“交流不”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“交流”；
str与D中的词匹配成功,
ResultStr=“对外/经济/技术/合作/与/交流/”,pos=pos+Len=11;
Step7:Len=MaxLen=3，取str=“不断扩”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“不断”；
str与D中的词匹配成功,
ResultStr=“对外/经济/技术/合作/与/交流/不断/”,pos=pos+Len=13;
Step8:Len=MaxLen=3，取str=“扩大。”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“扩大”；
str与D中的词匹配成功, ResultStr=“对外/经济/技术/合作/与/交流/不断/扩大/”,pos=pos+Len=15;
Step9:取str=“。”；
Len==1，单字直接作为一个词加入结果, ResultStr=“对外/经济/技术/合作/与/交流/不断/扩大/。/”

（2）负向最大匹配：
初始化：MaxLen=3，pos=15，ResultStr=“”
Step1:Len=MaxLen=3，取str=“扩大。”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“大。”；
str与D中的词匹配不成功,Len=Len-1=1，取str=“。”；
Len=1，单字直接作为一个词加入结果,
ResultStr=“/。”,pos=pos-Len=14
Step2:Len=MaxLen=3，取str=“断扩大”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“扩大”；
str与D中的词匹配成功,ResultStr=“/扩大/。”,pos=pos-Len=12
Step3:Len=MaxLen=3，取str=“流不断”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“不断”；
str与D中的词匹配成功,ResultStr=“/不断/扩大/。”,pos=pos-Len=10
Step4:Len=MaxLen=3，取str=“与交流”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“交流”；
str与D中的词匹配成功,
ResultStr=“/交流/不断/扩大/。”,pos=pos-Len=8;
Step5:Len=MaxLen=3，取str=“合作与”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“作与”；
str与D中的词匹配不成功,Len=Len-1=1，取str=“与”；
Len==1，单字直接作为一个词加入结果,
ResultStr=“/与/交流/不断/扩大/。”,pos=pos-Len=8;
Step6:Len=MaxLen=3，取str=“术合作”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“合作”；
str与D中的词匹配成功,
ResultStr=“/合作/与/交流/不断/扩大/。”,pos=pos-Len=6;
Step7:Len=MaxLen=3，取str=“济技术”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“技术”；
str与D中的词匹配成功,
ResultStr=“/技术/合作/与/交流/不断/扩大/。”,pos=pos-Len=4;
Step8:Len=MaxLen=3，取str=“外经济”；
str与D中的词匹配不成功,Len=Len-1=2，取str=“经济”；
str与D中的词匹配成功, ResultStr=“/经济/技术/合作/与/交流/不断/扩大/。”,pos=pos-Len=2;
Step9:取str=“对外”；
str与D中的词匹配成功,ResultStr=“/对外/经济/技术/合作/与/交流/不断/扩大/。”

（3）比较两次匹配的结果：两个切分结果相同，切分成功，最终的结果为：
“/对外/经济/技术/合作/与/交流/不断/扩大/。”

四、Python代码实现：

import time
import re

class Segment:
    # 数据成员
    sentence = ""
    MaxLen = 0
    pos = 0
    len = 0
    result_MM = ""  # 存放MM分词结果
    result_RMM = ""  # 存放RMM分词结果
    final_res = ""
    dict = []

    # 构造函数
    def __init__(self, sentence, MaxLen):
        self.sentence = sentence
        self.MaxLen = MaxLen
        self.pos = 0
        self.len = self.MaxLen
        self.result_MM = ""
        self.readDict()

    # 读字典
    def readDict(self):
        f = open("chineseDic.txt", "r", encoding="utf-8")
        lines = f.readlines()
        for line in lines:
            # print(line)
            words = line.split(",")
            self.dict.append(words[0])

    # 正向最大匹配
    def MM(self, nLen, nPos):
        length = len(self.sentence)
        if (nPos > length):
            return
        substr = self.sentence[nPos:nPos + nLen]
        if substr in self.dict:
            self.result_MM = self.result_MM + substr + "/ "
            nPos = nPos + nLen
            nLen = self.MaxLen
            self.MM(nLen, nPos)
        elif nLen > 1:
            nLen = nLen - 1
            self.MM(nLen, nPos)
        else:
            self.result_MM = self.result_MM + substr + "/ "
            nPos = nPos + 1
            nLen = self.MaxLen
            self.MM(nLen, nPos)

    # 逆向最大匹配
    def RMM(self, nLen, nPos):
        if (nPos < 0):
            return
        substr = self.sentence[nPos - nLen:nPos]
        if substr in self.dict:
            self.result_RMM = self.result_RMM + "/" + substr
            nPos = nPos - nLen
            nLen = self.MaxLen
            self.RMM(nLen, nPos)
        elif nLen > 1:
            nLen = nLen - 1
            self.RMM(nLen, nPos)
        else:
            self.result_RMM = self.result_RMM + substr + "/"
            nPos = nPos - 1
            nLen = self.MaxLen
            self.RMM(nLen, nPos)

    def getMMResult(self):
        return self.result_MM

    def getRMMResult(self):
        return self.result_RMM

    def getFinalResult(self):
        return self.final_res

    def printFinalResult(self):
        print("正向最大匹配结果：")
        seg_res_MM = self.result_MM.replace(" ", "")
        print(seg_res_MM)
        seg_list_MM = seg_res_MM.split('/')
        del seg_list_MM[-1]  # 由于按照'/'分割，所以最后会多出一个''，删去
        print(seg_list_MM)

        print("逆向最大匹配结果：")
        seg_res_RMM = self.result_RMM.replace(" ", "")
        print(seg_res_RMM)
        seg_list_RMM = list(reversed(seg_res_RMM.split('/')))
        del seg_list_RMM[0]
        del seg_list_RMM[-1]
        print(seg_list_RMM)

        len_MM = len(seg_list_MM)
        len_RMM = len(seg_list_RMM)
        flag = 1
        for i in range(0, min(len_MM, len_RMM)):
            if seg_list_MM[i] != seg_list_RMM[i]:
                print("两次分词结果不一致。")
                flag = 0
                break
        if (flag):
            print("两次分词结果一致。")
            print("最终的分词结果为：")
            self.final_res = self.result_MM
            print(self.final_res)


def to_region(segmentation):
    region = []
    start = 1
    for word in re.compile("\\s+").split(segmentation.strip()):  # 空格，回车，换行等空白符
        end = start + len(word) - 2
        region.append((start, end))
        start = end + 1
    return region


def PRF(target, pred):
    t_set, p_set = set(target), set(pred)
    target_num = len(t_set)
    pred_num = len(p_set)
    cap_num = len(t_set & p_set)
    p = cap_num / pred_num
    r = cap_num / target_num
    f = 2 * p * r / (p + r)
    print("P =", p)
    print("R =", r)
    print("F1 =", f)


if __name__ == '__main__':
    test_str = '在这一年中，中国的改革开放和现代化建设继续向前迈进。国民经济保持了“高增长、低通胀”的良好发展态势。农业生产再次获得好的收成，企业改革继续深化，人民生活进一步改善。对外经济技术合作与交流不断扩大。'
    seg = Segment(test_str, 3)

    time_start = time.time()
    seg.MM(3, 0)
    seg.RMM(3, len(test_str))
    time_end = time.time()

    seg.printFinalResult()
    print('分词时间：', time_end - time_start, 's')

    target_str = "在/  这/  一/  年/  中/  ，/  中国/  的/  改革/  开放/  和/  现代化/  建设/  继续/  向前/  迈进/  。/  国民经济/  保持/  了/  “/  高/  增长/  、/  低/  通胀/  ”/  的/  良好/  发展/  态势/  。/  农业/  生产/  再次/  获得/  好/  的/  收成/  ，/  企业/  改革/  继续/  深化/  ，/  人民/  生活/  进一步/  改善/  。/  对外/  经济/  技术/  合作/  与/  交流/  不断/  扩大/  。/"
    re_pred = to_region(seg.getFinalResult())
    re_target = to_region(target_str)

    # 每个单词按它在文本中的起止位置可记作区间[i, j]
    print("分词结果：", re_pred)
    print("标准答案：", re_target)

    PRF(re_target, re_pred)

五、结果展示：

（1）实验截图：
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
（2）正向最大匹配结果：

在/这/一/年中/，/中国/的/改革/开放/和/现代化/建设/继续/向前/迈进/。/国民/经济/保持/了/“/高/增长/、/低/通胀/”/的/良好/发展/态势/。/农业/生产/再次/获得/好/的/收成/，/企业/改革/继续/深化/，/人民/生活/进一步/改善/。/对外/经济/技术/合作/与/交流/不断/扩大/。/

转化为列表为：[‘在’, ‘这’, ‘一’, ‘年中’, ‘，’, ‘中国’, ‘的’, ‘改革’, ‘开放’, ‘和’, ‘现代化’, ‘建设’, ‘继续’, ‘向前’, ‘迈进’, ‘。’, ‘国民’, ‘经济’, ‘保持’, ‘了’, ‘“’, ‘高’, ‘增长’, ‘、’, ‘低’, ‘通胀’, ‘”’, ‘的’, ‘良好’, ‘发展’, ‘态势’, ‘。’, ‘农业’, ‘生产’, ‘再次’, ‘获得’, ‘好’, ‘的’, ‘收成’, ‘，’, ‘企业’, ‘改革’, ‘继续’, ‘深化’, ‘，’, ‘人民’, ‘生活’, ‘进一步’, ‘改善’, ‘。’, ‘对外’, ‘经济’, ‘技术’, ‘合作’, ‘与’, ‘交流’, ‘不断’, ‘扩大’, ‘。’]

（3）逆向最大匹配结果：

/。/扩大/不断/交流/与/合作/技术/经济/对外/。/改善/进一步/生活/人民/，/深化/继续/改革/企业/，/收成/的/好/获得/再次/生产/农业/。/态势/发展/良好/的/”/通胀/低/、/增长/高/“/了/保持/经济/国民/。/迈进/向前/继续/建设/现代化/和/开放/改革/的/中国/，/年中/一/这/在/

转化为列表，并且调整顺序后：[‘在’, ‘这’, ‘一’, ‘年中’, ‘，’, ‘中国’, ‘的’, ‘改革’, ‘开放’, ‘和’, ‘现代化’, ‘建设’, ‘继续’, ‘向前’, ‘迈进’, ‘。’, ‘国民’, ‘经济’, ‘保持’, ‘了’, ‘“’, ‘高’, ‘增长’, ‘、’, ‘低’, ‘通胀’, ‘”’, ‘的’, ‘良好’, ‘发展’, ‘态势’, ‘。’, ‘农业’, ‘生产’, ‘再次’, ‘获得’, ‘好’, ‘的’, ‘收成’, ‘，’, ‘企业’, ‘改革’, ‘继续’, ‘深化’, ‘，’, ‘人民’, ‘生活’, ‘进一步’, ‘改善’, ‘。’, ‘对外’, ‘经济’, ‘技术’, ‘合作’, ‘与’, ‘交流’, ‘不断’, ‘扩大’, ‘。’]

（4）由以上结果可以看出，两次分词结果一致。最终的分词结果如下：

在/这/一/年中/，/中国/的/改革/开放/和/现代化/建设/继续/向前/迈进/。/国民/经济/保持/了/“/高/增长/、/低/通胀/”/的/良好/发展/态势/。/农业/生产/再次/获得/好/的/收成/，/企业/改革/继续/深化/，/人民/生活/进一步/改善/。/对外/经济/技术/合作/与/交流/不断/扩大/。/

（5）分词时间： 0.20544934272766113 s

（6）评测指标：
分词结果：
[(1, 1), (2, 2), (3, 3), (4, 5), (6, 6), (7, 8), (9, 9), (10, 11), (12, 13), (14, 14), (15, 17), (18, 19), (20, 21), (22, 23), (24, 25), (26, 26), (27, 28), (29, 30), (31, 32), (33, 33), (34, 34), (35, 35), (36, 37), (38, 38), (39, 39), (40, 41), (42, 42), (43, 43), (44, 45), (46, 47), (48, 49), (50, 50), (51, 52), (53, 54), (55, 56), (57, 58), (59, 59), (60, 60), (61, 62), (63, 63), (64, 65), (66, 67), (68, 69), (70, 71), (72, 72), (73, 74), (75, 76), (77, 79), (80, 81), (82, 82), (83, 84), (85, 86), (87, 88), (89, 90), (91, 91), (92, 93), (94, 95), (96, 97), (98, 98)]
标准答案：
[(1, 1), (2, 2), (3, 3), (4, 4), (5, 5), (6, 6), (7, 8), (9, 9), (10, 11), (12, 13), (14, 14), (15, 17), (18, 19), (20, 21), (22, 23), (24, 25), (26, 26), (27, 30), (31, 32), (33, 33), (34, 34), (35, 35), (36, 37), (38, 38), (39, 39), (40, 41), (42, 42), (43, 43), (44, 45), (46, 47), (48, 49), (50, 50), (51, 52), (53, 54), (55, 56), (57, 58), (59, 59), (60, 60), (61, 62), (63, 63), (64, 65), (66, 67), (68, 69), (70, 71), (72, 72), (73, 74), (75, 76), (77, 79), (80, 81), (82, 82), (83, 84), (85, 86), (87, 88), (89, 90), (91, 91), (92, 93), (94, 95), (96, 97), (98, 98)]
**正确率：**P = 0.9491525423728814
**召回率：**R = 0.9491525423728814
**F-度量值：**F1 = 0.9491525423728814

五、总结反思：

（1）在编写逆向匹配的代码时，由于在分词时是从后向前的，所以最终得到的分词结果中词的顺序会颠倒，不便于最终两个分词结果的比较。我采取的方式是用python中的split(‘/’)将分词结果拆分成由词语构成的字符串数组，然后调整逆向匹配的数组元素的顺序，之后再一一比较，看两次的分词结果是否相同。
（2）在计算评测指标的值的时候，需要统计分词结果的词数、标准答案中的词数以及两者交集的次数，我采取的方式是对于分词结果和标准答案中每个词按它在文本中的起止位置记作区间[i, j]，利用python中的元组进行表示，然后再利用集合set得到两者的交集。

沐兮Krystal
关注
  • 11
    点赞
  • 踩
  • 59
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
中文分词的python实现-基于HMM算法
orlandowww的博客
09-29 1万+
隐马尔科夫模型（HMM）模型介绍HMM模型是由一个“五元组”组成: StatusSet: 状态值集合 ObservedSet: 观察值集合 TransProbMatrix: 转移概率矩阵 EmitProbMatrix: 发射概率矩阵 InitStatus: 初始状态分布
利用Python进行中文分词——实现中文文本处理的基础工具
m0_70911440的博客
11-21 1930
中文是一种复杂的语言，其词语之间没有明显的分隔符号，这给中文文本处理带来了一定的挑战。中文分词是中文文本处理的基础工具，它可帮助我们对中文文本进行有意义的切分和处理。正向最大匹配算法从左到右逐个字符进行匹配，根据词典中的最长词语进行匹配，然后将匹配到的词语切分出来，继续匹配下一个字符。逆向最大匹配算法从右到左逐个字符进行匹配，根据词典中的最长词语进行匹配，然后将匹配到的词语切分出来，继续匹配前面的字符。Jieba库是Python中最流行的中文分词工具之一，下面通过示例演示如何使用Jieba库进行中文分词。
python中文分词之三种匹配
天青如水的博客
11-24 2602
它按照一定的策略匹配需要分词的源字符串，如果能够找到对应的字符串将成功匹配。这是一种很原始且效率相对低效的分词策略。举个简单案例，在“我要认真看论文”句子中查找关键词“论文”，无论采用何种匹配方式，它都需要从左往右或者从右往左一个字或一个词的查找（长度取决于对分词的粒度控制），直到经过几个轮回之后找到“论文”这个词组，这样才算成功。这相对繁琐，而且匹配方式还需要进一步解析。对于这类分词，根据解析方...
NLP(14)--文本匹配任务
最新发布
njh1147394013的博客
05-12 341
文本匹配Demo（sentence_encode）表示型
中文分词算法及python代码实现（持续更新中）
lankuohsing的博客
12-05 3090
文章目录1. 机械分词算法1.1. 正向最大匹配算法 参考链接： https://blog.csdn.net/lcwdzl/article/details/78493637 代码源码地址： https://github.com/lankuohsing/Study_NLP 1. 机械分词算法 1.1. 正向最大匹配算法 # In[] custom_dict = set(["机械","分词","方法","机械分词方法", "又","叫","基于","字符串","匹配", .
自然语言处理作业1-双向匹配算法
01-21
总的来说，"自然语言处理作业1"的双向匹配算法是NLP中一个实用且具有挑战性的课题，它要求对文本表示、相似度计算以及Python编程有深入的理解。通过学习和实践，我们可以掌握这项技术，并将其应用到各种实际的自然...
NLP作业：最大匹配中文分词+源代码+文档说明
12-23
1、资源内容：NLP作业：最大匹配中文分词+源代码+文档说明 2、代码特点：内含运行结果，不会运行可私信，参数化编程、参数可方便更改、代码编程思路清晰、注释明细，都经过测试运行成功，功能ok的情况下才上传的。 3...
用python实现前向分词最大匹配算法的示例代码
09-16
在自然语言处理（NLP）中，中文分词是至关重要的一步，因为中文句子中没有像英文那样的空格来区分单词。前向最大匹配算法是一种基于词典的分词方法，常用于解决中文分词问题。本文将深入探讨前向最大匹配算法的概念...
搜索引擎-使用mongodb+redis+python开发的在线小说搜素引擎-优质项目-附完整流程教程+演示效果.zip
01-31
此外，还可以考虑引入自然语言处理技术，如情感分析或主题模型，进一步提升搜索的智能化。 9. **应用场景**： - 这样的搜索引擎不仅可以用于小说搜索，也可以应用于其他文本丰富的领域，如新闻、博客、论坛等，...
自然语言处理--双向匹配算法
hcjdhsjs的博客
01-21 1259
广东外语外贸大学--自然语言处理。双向匹配算法是一种用于自然语言处理的算法，用于确定两个文本之间的相似度或匹配程度。该算法通常使用在文本对齐、翻译、语义匹配等任务中。在双向匹配算法中，首先将两个文本分别进行处理，然后分别从两个文本的角度进行匹配。这种双向匹配可以更全面地考虑两个文本之间的相似性，避免单向匹配算法可能出现的遗漏或错误匹配的情况。双向匹配算法能够更准确地捕捉两个文本之间的相似性，提高了文本对齐、翻译、语义匹配等任务的准确性和效率。因此，在自然语言处理领域中得到了广泛的应用。
【NLP篇-分词】分词的几种方法综述
chenshi_2753的博客
01-03 3089
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
现有的分词算法，主要分为哪三大类？
多智时代的博客
04-17 6583
1、 基于字符串匹配的分词方法 这种方法又叫做机械分词方法，它是按照一定的策略将待分析的汉字串与一个“充分大的”机器词典中的词条进行配，若在词典中找到某个字符串，则匹配成功（识别出一个词）。按照扫描方向的不同，串匹配分词方法可以分为正向匹配和逆向匹配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最短）匹配；按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体...
python关键字匹配_python通过BF算法实现关键词匹配的方法
weixin_39986973的博客
11-21 280
本文实例讲述了python通过BF算法实现关键词匹配的方法。分享给大家供大家参考。具体实现方法如下：#!/usr/bin/python# -*- coding: UTF-8# filename BFimport time"""t="this is a big apple,this is a big apple,this is a big apple,this is a big apple."p="...
打卡NLP，常用分词算法实战
self_Name_的博客
03-06 325
自然语言处理的中文分词算法汇总
python NLP简单实现
匹夫之怒
01-06 397
python脚本实现NLP逻辑
Python---正向、逆向和双向最大匹配算法
qq_41982466的博客
08-22 7447
使用python实现正向、逆向和双向最大匹配算法 正向最大匹配 class leftMax(object): def __init__(self,dict_path): self.dictionary = set() #定义字典 self.maximum = 0 #最大匹配长度 with open(dict_path,'r'...
中文分词之最大匹配算法（前向、后向、双向及python实现）
热门推荐
weixin_44735126的博客
09-19 1万+
文章目录1. 前向最大匹配算法1.1 前向最大匹配算法的原理2. 后向最大匹配算法2.1 后向最大匹配算法的原理3. 双向最大匹配算法3.1 双向最大匹配算法的原理 1. 前向最大匹配算法 1.1 前向最大匹配算法的原理 首先，我们分词的目的是将一段中文分成若干个词语，前向最大匹配就是从前向后寻找在词典中存在的词。 废话不多说，直接上例子： 首先我们假设Max_len = 5,即假设单词的最大长度...
python自然语言处理案例-Python自然语言处理 NLTK 库用法入门教程【经典】
weixin_39517054的博客
11-11 952
本文实例讲述了Python自然语言处理 NLTK 库用法。分享给大家供大家参考，具体如下：在这篇文章中，我们将基于 Python 讨论自然语言处理（NLP）。本教程将会使用 Python NLTK 库。NLTK 是一个当下流行的，用于自然语言处理的 Python 库。那么 NLP 到底是什么？学习 NLP 能带来什么好处？简单的说，自然语言处理（ NLP ）就是开发能够理解人类语言的应用程序和服务...
中文分词入门之最大匹配法
pdssunny的专栏
03-19 510
中文分词在中文信息处理中是最最基础的，无论机器翻译亦或信息检索还是其他相关应用，如果涉及中文，都离不开中文分词，因此中文分词具有极高的地位。中文分词入门最简单应该是最大匹配法了，当年师兄布置给我的第一个学习任务就是实现最大匹配法的分词算法（正向、逆向）。记得当时对自己参考学习最有帮助的是北大詹卫东老师“中文信息处理基础”的课件和源程序，不过他实现的是mfc程序，词表存储在数据库里。自己实现时用纯c
西电数据挖掘 -网页聚类算法python实现
12-10
西电数据挖掘 - 网页聚类算法是一种用于对网页进行分类和聚类的算法。它能够根据网页的内容和特征将其进行分组，从而方便用户进行信息检索和分析。 在Python中实现网页聚类算法可以使用一些常见的数据挖掘库和算法，比如Scikit-learn库中的聚类算法。首先，需要将网页的内容进行文本提取和特征提取，可以利用BeautifulSoup库来实现网页内容的提取和解析，然后使用自然语言处理工具对文本进行分词和处理，提取出有用的特征。 接下来，可以选择合适的聚类算法，比如K-means算法或层次聚类算法，通过对特征向量进行聚类，将网页进行分组。最后，可以利用可视化工具对聚类结果进行展示，比如使用matplotlib库绘制聚类的结果图，方便用户进行分析和理解。 除了Scikit-learn库外，还可以使用其他一些常见的数据挖掘和机器学习库，比如TensorFlow和PyTorch，通过构建深度学习模型来实现网页聚类算法。这些库提供了丰富的神经网络结构和训练方法，可以更灵活和强大地实现网页聚类算法。 总之，通过Python实现西电数据挖掘 - 网页聚类算法是一个比较有趣和实用的课题，可以利用丰富的数据挖掘和机器学习工具来进行实现，对于提高网页信息检索和分析的效率有着重要的意义。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值