python 实现机械分词（1）-正向最大匹配算法

最新推荐文章于 2024-07-17 09:32:57 发布
最新推荐文章于 2024-07-17 09:32:57 发布
阅读量1.2w 收藏 80
点赞数 11
分类专栏： python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lalalawxt/article/details/75458791
版权
本文介绍了Python中实现正向最大匹配算法进行中文分词的基本思想和步骤，该算法从文本开头开始，尝试匹配词典中最长的词，直至完成分词。在分词过程中排除了停用词的影响。
摘要由CSDN通过智能技术生成

        词语是自然语言处理中重要的知识载体和基本操作单元， 但是中文里词与词之间没有很明显的标记，它们都是连续的字符串，所以文本处理的第一步是怎样进行中文分词。分词是添加合适的显性的词语边界标志使得所形成的词串反映句子的本意的过程。分词主要有基于字符串匹配的方法、基于规则的方法和基于统计的方法，本文主要通过python实现基于字符串匹配的方法也称为机械分词中的两类方法：正向最大匹配算法和逆向最大匹配算法，有实验表明逆向最大匹配算法比正向最大匹配算法更有效。

       基于字符串匹配的分词法是一种的机械分词方法，根据分词词典和一个基本的切分规则，最常用的规则为最长匹配原则。最长匹配方法的思想简单：一个正确的分词结果应该由合法的词组成，而这些词是根据所选词典中的词比较分出。按照所扫描方向的不同，分词的匹配方法分为正向匹配和逆向匹配；按照长度不同优先匹配的情况，分为最长匹配和最短匹配；按照是否与词性标注的过程相结合又可分为分词与标注相结合的一体化和单纯的分词方法。

       1、正向最大匹配算法

      正向最大匹配算法（MM）的思想是假设自动分词中最长词条所含汉字的个数为n， 则截取需要分词文本中当前字符串序列中的前n个字符作为匹配字段，查找分词词典，若词典中有这样一个n字词那么就匹配成功，匹配字段作为一个词被切分出来；若词典中找不到这样的一个n字词那么匹配失败， 匹配字段去掉最后一个汉字， 剩下的字符作为新的匹配字段再进行匹配，如此进行下去，直到匹配成功为止。因为停用词对后续文本处理可能会造成干扰，所以在用正向最大匹配算法分词的过程中直接去除了停用词。具体步骤如下：

      S1、导入分词词典words.txt，存储为字典形式dic、导入停用词词典stoplis.txt ，存储

最低0.47元/天 解锁文章
lalalawxt
关注
专栏目录
正向最大匹配算法 python_中文分词算法之最大正向匹配算法（Python版）
weixin_39902608的博客
02-12 621
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。实例：S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "字典中...
正向最大匹配算法实现之python实现
崔昕阳的博客
08-31 6681
1.python 版本：python 3.6.4 2.思路： s1.导入分词词典，存储为字典形式dic,导入停用词词典stop_words，存储为字典形式,需要分词的文本文件cutTest.txt,存储为字符串chars s2.遍历分词词典，找出最长的词，长度为max_chars s3.创建空列表words来存储分词结果 s4.初始化字符串chars分词起点n=0 s5.判断分词点n是...
python正向最大匹配分词和逆向最大匹配分词
10-12
python正向最大匹配分词和逆向最大匹配分词完整的源代码分享，运行使用后对相关技术人员很有分享价值，为开发人员节省开发时间和提高开发思路是很不错的选择
python最大分词_中文分词算法之最大正向匹配算法（Python版）
weixin_39554775的博客
11-20 158
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。实例：S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "字典中...
机械工程仿真详解与Python代码示例
最新发布
MrLi的博客
07-17 564
通过Python，工程师们可以编写自动化脚本，控制仿真软件的运行，处理和分析仿真数据。此外，Python还提供了丰富的科学计算库和可视化工具，如NumPy、SciPy、Matplotlib等，这些工具可以大大简化仿真数据的处理和分析过程。它利用计算机模拟和仿真技术，对机械系统、设备或零件的设计、制造、运行过程进行模拟和分析，以预测其性能、优化设计方案、减少实验成本和时间。当然，在实际应用中，机械工程仿真可能涉及更复杂的模型和算法，但Python的灵活性和强大的科学计算能力为这些应用提供了有力的支持。
python最大分词_python正向最大匹配分词和逆向最大匹配分词的实例
weixin_39626586的博客
11-24 148
正向最大匹配# -*- coding:utf-8 -*-CODEC='utf-8'def u(s, encoding):'converted other encoding to unicode encoding'if isinstance(s, unicode):return selse:return unicode(s, encoding)def fwd_mm_seg(wordDict, max...
python支持双向索引吗_中文分词引擎 python实现 — 正向最大、逆向最大、双向最大匹配法...
weixin_39564386的博客
12-03 273
正向最大匹配法分词目标：在词典中进行扫描，尽可能地选择与词典中最长单词匹配的词作为目标分词，然后进行下一次匹配。算法流程：假设词典中最长的单词为 5 个(MAX_LENGTH)，那么最大匹配的起始子串字数也为 5 个(1)扫描字典，测试读入的子串是否在字典中(2)如果存在，则从输入中删除掉该子串，重新按照规则取子串，重复(1)(3)如果不存在于字典中，则从右向左减少子串长度，重复(1)分词实例：比...
python实现机械分词之逆向最大匹配算法代码示例
12-24
逆向最大匹配分词是中文分词基本算法之一，因为是机械切分，所以它也有分词速度快的优点，且逆向最大匹配分词比起正向最大匹配分词更符合人们的语言习惯。逆向最大匹配分词需要在已有词典的基础上，从被处理文档的...
中文分词-正向最大匹配法和逆向最大匹配法的实现
09-22
需要注意的是，Python提供了许多现成的中文分词库，如jieba，它们已经实现了包括正向、逆向匹配在内的多种分词算法，并且优化了性能。但在学习和理解分词原理时，自己动手实现这些方法是非常有益的。 总的来说，...
python中文分词教程之前向最大正向匹配算法详解
09-21
Python实现前向最大正向匹配算法时，需要一个词典文件，该文件包含所有可能的词汇。程序会读取词典，然后对输入的文本进行分词。在Python代码中，`max_match_segment`函数可能是核心部分，它接受一行文本和词典作为...
正向最大匹配分词算法及KNN文本分类算法python实现
05-12
这份代码是我们专业的一个实验，内容包含了文本分词和文本分类。分别使用了正向最大匹配算法和KNN算法。分词速度平均153295词/秒，189100字符/秒。文本分类使用tf-idf计算单词权重进行特征选择，我测试时选择前100个特征词，根据k的不同取值，分类的准确度平均为75%。
python正向最大匹配分词和逆向最大匹配分词的实例
09-19
今天小编就为大家分享一篇python正向最大匹配分词和逆向最大匹配分词的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
正向最大匹配分词算法及KNN文本分类算法python实现.zip
06-04
压缩包内容包含了文本分词和文本分类所必需的数据集（10000多份文档）、多份词典（包括停用词），python实现代码以及代码生成日志txt文件。
正向最大匹配算法 python代码_中文分词算法之最大正向匹配算法（Python版）
weixin_42499800的博客
02-12 1612
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。实例：S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "字典中...
分词算法的python实现（正向最大匹配法）
AimeeLee01的博客
10-03 5657
正向最大匹配法又称MM法，其基本思想是: 假设分词词典中的最长词由i个汉字字符组成，则 用被处理文档的当前字符串中前i个字作为匹配 字段查找词典。若词典中存在这样一个字词，则 匹配成功，匹配字段作为一个词被切分出来，否则 匹配失败。应将匹配字段中的最后一个字去掉， 对剩下的字串重新进行匹配处理。如此进行下 去，直到匹配成功。然后取下一个字字串进行匹 配处理，直到文档被扫描完为止。下面是我用pytho
【Python】实现正向(逆向)最大匹配法（中文分词，NLP，编译原理）
○( ＾皿＾)っHiahiahia…的博客
02-23 9381
正向最大匹配法（Maximum Match Method） Step 1 假定分词词典中的最长词有i个汉字字符，则用被处理的当前字串中的前i个字作为匹配字段，查找字典。 Step 2 若字典中存在这样一个i字词，则匹配成功；否则，失败，将匹配字段中的最后一个字符去掉， 对剩下字串进行匹配。 Step 3 如此进行下去，直到匹配成功，即切分出一个词或剩余字串长度为0。 不停的匹配，直到文档被扫描完为...
Python---正向、逆向和双向最大匹配算法
qq_41982466的博客
08-22 7601
使用python实现正向、逆向和双向最大匹配算法 正向最大匹配 class leftMax(object): def __init__(self,dict_path): self.dictionary = set() #定义字典 self.maximum = 0 #最大匹配长度 with open(dict_path,'r'...
【Python自然语言处理】规则分词中正向、反向、双向最大匹配法的讲解及实战（超详细 附源码）
showswoller的博客
12-04 3474
【Python自然语言处理】规则分词中正向、反向、双向最大匹配法的讲解及实战（超详细 附源码）
正向最大匹配算法python实现分词划分
08-19
正向最大匹配算法（MM）是一种基于词典的分词算法，它从左到右扫描待分词的文本，在词典中查找最长的匹配词作为切分结果。下面是一个简单的Python实现： ```python def forward_max_match(text, word_dict): word_list = [] while text: max_len = min(len(text), max_word_len) # 设置最大匹配长度 sub_str = text[:max_len] while max_len > 0: if sub_str in word_dict: word_list.append(sub_str) break elif max_len == 1: word_list.append(sub_str) break else: max_len -= 1 sub_str = text[:max_len] text = text[max_len:] return word_list # 示例使用 word_dict = ['分词', '划分', '算法', '正向', '最大', '匹配', '实现'] text = '正向最大匹配算法python实现分词划分' max_word_len = max(map(len, word_dict)) # 获取词典中的最长词长度 result = forward_max_match(text, word_dict) print(result) ``` 在上述代码中，`text`是待分词的文本，`word_dict`是用于匹配的词典，`max_word_len`是词典中最长词的长度。`forward_max_match`函数会返回分词后的结果。运行上述代码会输出`['正向', '最大', '匹配', '算法', 'python', '实现', '分词', '划分']`。 需要注意的是，上述实现只是一个简单的示例，实际应用中可能需要考虑更复杂的情况，比如词典中的词有重叠部分、未登录词处理等。此外，正向最大匹配算法是一种启发式的算法，不能保证一定能得到最优的分词结果。
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值