python中文分词算法_分词 | 双向匹配中文分词算法python实现

最新推荐文章于 2022-04-05 23:09:17 发布
VIP文章 最新推荐文章于 2022-04-05 23:09:17 发布
阅读量381 收藏 2
点赞数 1
文章标签： python中文分词算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39553805/article/details/111518931
版权

本次实验内容是基于词典的双向匹配算法的中文分词算法的实现。使用正向和反向最大匹配算法对给定句子进行分词，对得到的结果进行比较，从而决定正确的分词方法。

算法描述

正向最大匹配算法

先设定扫描的窗口大小maxLen(最好是字典最长的单词长度)，从左向右取待切分汉语句的maxLen个字符作为匹配字段。查找词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来，并将窗口向右移动这个单词的长度。若匹配不成功，则将这个匹配字段的最后一个字去掉，剩下的字符串作为新的匹配字段，进行再次匹配，重复以上过程，直到切分出所有词为止。

反向最大匹配算法

该算法是正向的逆向算法，区别是窗口是从后向左扫描，若匹配不成功，则去掉第一个字符，重复上述的匹配步骤。

双向最大匹配算法

双向最大匹配法是将正向最大匹配法得到的分词结果和逆向最大匹配法的到的结果进行比较，从而决定正确的分词方法。定义的匹配规则如下：

如果正反向匹配算法得到的结果相同，我们则认为分词正确，返回任意一个结果即可。

如果正反向匹配算法得到的结果不同，则考虑单字词、非字典词、总词数数量的数量，三者的数量越少，认为分词的效果越好。我们设定一个惩罚分数(score_fmm / score_bmm = 0)，例如：正向匹配中单字词数量多于反向匹配，则正向匹配的分值score_fmm += 1。其他两个条件相同。可以根据实际的分词效果调整惩罚分数的大小，但由于没有正确分词的数据，因此惩罚分数都设为1。最后比较惩罚分数，返回较小的匹配结果。

详例描述

以“对外经济技术合作与交

最低0.47元/天 解锁文章
weixin_39553805
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python实现中文分词FMM算法实例
09-21
主要介绍了python实现中文分词FMM算法,实例分析了Python基于FMM算法进行中文分词的实现方法,涉及Python针对文件、字符串及正则匹配操作的相关技巧,需要的朋友可以参考下
中文分词（python）
Gravitas的博客
07-20 1205
       今天研究了一下中文分词，下面用两种简单的算法（正向最大匹配分词算法和逆向最大匹配分词算法）实现。 #字典生成 def load_dic(filename): f=open(filename,'r',encoding='utf-8') word_dic=set() max_length=1 for line in f: word=line.strip() word
python中文分词的主要方法
热门推荐
zhaoze blog
05-05 2万+
python中文分词 一、jieba分词 1、精确模式（默认）：试图将句子最精确地切开，适合文本分析； seg = jieba.cut(“这是一段中文字符”, cut_all = False) 不加cut_all 为默认的精确模式 2、全模式，把句子中所有的可以成词的词语都扫描出来，但是不能解决歧义； seg = jieba.cut(“这是一段中文字符”, cut_all = True) ...
中文分词算法及python代码实现（持续更新中）
lankuohsing的博客
12-05 3010
文章目录1. 机械分词算法1.1. 正向最大匹配算法 参考链接： https://blog.csdn.net/lcwdzl/article/details/78493637 代码源码地址： https://github.com/lankuohsing/Study_NLP 1. 机械分词算法 1.1. 正向最大匹配算法 # In[] custom_dict = set(["机械","分词","方法","机械分词方法", "又","叫","基于","字符串","匹配", .
中文分词算法python代码_中文分词算法之最大正向匹配算法（Python版）
weixin_35615475的博客
02-05 1095
最大匹配算法是自然语言处理中的中文匹配算法中最基础的算法，分为正向和逆向，原理都是一样的。正向最大匹配算法，故名思意，从左向右扫描寻找词的最大匹配。首先我们可以规定一个词的最大长度，每次扫描的时候寻找当前开始的这个长度的词来和字典中的词匹配，如果没有找到，就缩短长度继续寻找，直到找到或者成为单字。实例：S1="计算语言学课程是三个课时" ,设定最大词长MaxLen = 5 ,S2= " "字典中...
基于词库的双向最大匹配算法（博文）
10-20
python 双向最大匹配算法 双向最大匹配算法 双向最大匹配算法
NLP 中文分词-双向匹配算法（理论+Python实现）
GW_Krystal的博客
10-04 5499
一、理论描述 1.中文分词的概念： 是指把没有明显分界标志的字串切分为词串，包括标点符号、数字、数学符号、各种标记、人名、地名、机构名等未登录词的识别。汉语自动分词主要包括：（1）根据分词规范，建立机器词典；（2）根据分词算法和机器词典，把字串切分为词串；（3）机器学习方法和统计方法。 2.中文分词的重要性： 汉语中词是最小的独立运用单位，分词是句法分析的基础，是所有应用系统进行的第一步，是其他中文信息处理的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等都需要用到分词。只有进行
python双向最大匹配算法_分词 | 双向匹配中文分词算法python实现
weixin_39700220的博客
12-05 745
本次实验内容是基于词典的双向匹配算法的中文分词算法的实现。使用正向和反向最大匹配算法对给定句子进行分词，对得到的结果进行比较，从而决定正确的分词方法。算法描述正向最大匹配算法先设定扫描的窗口大小maxLen(最好是字典最长的单词长度)，从左向右取待切分汉语句的maxLen个字符作为匹配字段。查找词典并进行匹配。若匹配成功，则将这个匹配字段作为一个词切分出来，并将窗口向右移动这个单词的长度。若匹配不...
python自然语言处理实战核心技术与算法——双向最大匹配法
LiQZ的博客
07-07 6513
本人初学nlp，使用的是机械工业出版社的《python自然语言处理实战核心技术与算法》，学习到了双向最大匹配法，于是写下这篇文章记录一下整个代码的工作原理以及相应的理解。 目录一、匹配切分二、算法代码及详谈1. 正向最大匹配法2. 逆向最大匹配法3.双向最大匹配法三、总体代码与结果四、改进方式五、参考 一、匹配切分 在中文分词技术中的匹配切分输入规则分词方式，这是一种机械分词的方式，我们通过机器词典中的单词与语句中的每个词语进行匹配，如果匹配成功则切分，如果匹配失败则不与切分。 在匹配切分中，原则是“长.
中文分词之最大匹配算法（前向、后向、双向及python实现）
weixin_44735126的博客
09-19 1万+
文章目录1. 前向最大匹配算法1.1 前向最大匹配算法的原理2. 后向最大匹配算法2.1 后向最大匹配算法的原理3. 双向最大匹配算法3.1 双向最大匹配算法的原理 1. 前向最大匹配算法 1.1 前向最大匹配算法的原理 首先，我们分词的目的是将一段中文分成若干个词语，前向最大匹配就是从前向后寻找在词典中存在的词。 废话不多说，直接上例子： 首先我们假设Max_len = 5,即假设单词的最大长度...
python中文分词教程之前向最大正向匹配算法详解
09-21
中文分词是中文文本处理的一个基础性工作，然而长久以来，在Python编程领域，一直缺少高准确率、高...下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料，需要的朋友可以参考下。
python基础编程：python中文分词教程之前向最大正向匹配算法详解
01-20
下面这篇文章主要给大家介绍了关于python中文分词教程之前向最大正向匹配算法的相关资料，需要的朋友可以参考下。 前言 大家都知道，英文的分词由于单词间是以空格进行分隔的，所以分词要相对的容易些，而中文就不同...
双向最大匹配算法python_从零开始学自然语言处理（十）—— 最大匹配算法分词...
weixin_39655362的博客
11-23 444
前文传送门：从零开始学自然语言处理(一)—— jieba 分词从零开始学自然语言处理(二)—— jieba 黑科技从零开始学自然语言处理(三)——手把手带你用代码实现word2vec从零开始学自然语言处理(四)——手把手带你实现word2vec(skip-gram)从零开始学自然语言处理(五)—— 做 NLP 任务文本 id 化与预训练词向量初始化方法从零开始学自然语言处理(六)—— 词...
python库之SnowNLP（自然语言处理）
影子
04-20 4226
SnowNLP是一个python写的类库，可以方便的处理中文文本内容，是受到了TextBlob的启发而写的，由于现在大部分的自然语言处理库基本都是针对英文的，于是写了一个方便处理中文的类库，并且和TextBlob不同的是，这里没有用NLTK，所有的算法都是自己实现的，并且自带了一些训练好的字典。 # s as SnowNLP(text) 1) s.words 词语 2) s.sentences 句子/分句 3) s.sentiments 情感偏向,0-1之间的浮点数，越靠近1越积极(正
自然语言处理实验—分词算法（含python代码及详细例子讲解）
qq_26274961的博客
10-14 9766
自然语言处理基础算法—分词算法 最近在学自然语言处理，这是第一个上机实验自然语言处理的分词算法，也是自然语言处理比较入门的算法。和大家分享一下。 首先，自然语言处理，英文是(Nature Language Process)，简称“NLP"。是人工智能发展的的热门方向，也是和人交互最为相关的人工智能的应用方向。因为是和人打交道，那么需要以人的交流方式–语言来进行交互。 下面给大家介绍NLP里面最基础的算法–分词算法。 1.词典 一个好的NLP系统一定要有完备的词典，用于判断算法分出的词是否是具有实际意义的词。
中文分词的python实现-基于HMM算法
orlandowww的博客
09-29 1万+
隐马尔科夫模型（HMM）模型介绍HMM模型是由一个“五元组”组成: StatusSet: 状态值集合 ObservedSet: 观察值集合 TransProbMatrix: 转移概率矩阵 EmitProbMatrix: 发射概率矩阵 InitStatus: 初始状态分布
python实现分词（普通&维特比算法）
BeforeEasy的博客
11-03 1806
普通方法 思路： 读入词典中的词，每个词对应一个概率； 读入句子，得到所有可能的句子的划分，返回unigram得分最大的一个分割； 其中得到所有可能的分割采用递归的方法，当前词在词典中，就继续递归划分后半段； 概率原理：P(x1,x2,x3,xn)=P(x1)* P(x2)*…*P(xn) 可以转化成-log的加法，返回最小值 代码： #切割代码 def seg_all(string): # ...
python实现双向最大匹配法
计算机编程开发学习交流的专栏
04-05 1177
python实现双向最大匹配法 CSDN小马哥 于 2019-01-08 21:01:29 发布 2776 收藏 3 文章标签： python 中文分词技术 双向最大匹配法 自然语言处理 版权 -- coding: utf-8 -- “”" Created on Sat Jan 5 15:53:18 2019 @author: 86199 “”" class MM(): def init(self): self.window_size = 3 def cut(self,text): resu.
欧母龙PLC例程源码陶瓷厂用程序及图纸
最新发布
04-22
欧母龙PLC例程源码陶瓷厂用程序及图纸提取方式是百度网盘分享地址
Python实现中文最大逆向匹配分词算法
03-26
最大逆向匹配法是一种基于规则的分词方法，它以最大方式得到一个词典中最长的词作为匹配结果。本文将介绍如何使用Python实现中文最大逆向匹配分词算法。 1. 实现过程 1.1 读取字典 首先，我们需要准备一个字典文件以供分词使用。字典文件的每一行都是一个单词。在读取字典文件时，我们可以使用Python中的open函数和readlines函数。 dictionary = [] with open('dictionary.txt', encoding='UTF-8') as file: for line in file: dictionary.append(line.strip()) 1.2 最大逆向匹配 在最大逆向匹配算法中，我们需要先设定一个最大匹配长度max_len，以此来划定匹配范围。接下来，从右往左选择一个长度为max_len的子串，然后从字典中寻找与该子串匹配的最长词语。如果找到了匹配词，便将该词作为分割符号，并重新开始匹配。如果没有找到匹配词，则将匹配长度缩小一个字，重新匹配。 我们可以按照如下的方式实现最大逆向匹配算法： def reverse_max_match(sentence, dictionary, max_len): words = [] # 保存匹配结果 while sentence: # 只要有词未匹配完 for i in range(max_len, 0, -1): # 从最大长度开始找 if len(sentence) >= i: # 要保证有i个字符 if sentence[-i:] in dictionary: # 如果找到了词 words.append(sentence[-i:]) # 保存该词 sentence = sentence[:-i] # 截掉已匹配的词 break # 重新开始新的匹配 else: # 没有找到匹配的词 words.append(sentence[-1]) # 直接将该词作为分割符号 sentence = sentence[:-1] # 截掉已匹配的字符 return ' '.join(reversed(words)) # 因为是逆向匹配，所以要倒序排列 1.3 测试 最后，我们可以编写一个测试函数来测试分词算法的效果： def test(dictionary_file, sentence, max_len=5): dictionary = [] with open(dictionary_file, encoding='UTF-8') as file: for line in file: dictionary.append(line.strip()) result = reverse_max_match(sentence, dictionary, max_len) print('分词结果：', result) test('dictionary.txt', '我来到南京市长江大桥。') # 分词结果： 我 来到 南京市 长江大桥 。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值