用双向最大匹配法进行中文分词

最新推荐文章于 2022-10-01 21:52:52 发布
最新推荐文章于 2022-10-01 21:52:52 发布
阅读量3.2k 收藏
点赞数
分类专栏： Machine Learing
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PKU_ZZY/article/details/54730972
版权
本文探讨了中文分词任务，采用双向最大匹配法进行分词，并结合正向最大匹配法进行优化，同时考虑了数字和百分号小数点的处理，通过动态规划求解最佳分词结果。
摘要由CSDN通过智能技术生成

用双向最大匹配法进行中文分词

问题情况

中文分词任务，采用的是Sighan2004(backoff2005微软数据)数据。给出训练集和测试集，对测试集进行中文分词，要求给出的分词结果F-score尽量大。

常见解法

1.正向(逆向)最大匹配

以选出匹配的单词尽可能长为目标分词，具体操作是从一个方向不断尝试匹配出最长单词，再进行下一次匹配，直到匹配完成为止。

2.双向最大匹配

同样以选出匹配的单词尽可能长为目标分词，具体操作可以给分词结果打分，找一个合适的打分函数下，匹配单词较长则比较合算，同时希望求解打分函数最大值的复杂度比较低。

3.最大熵模型

4.CFR方法

常见优化

1.数字和百分号小数点

因为希望从12米学习出2米，所以应该把12米和2米都弄成米，是一个占位符。
需要注意全角半角问题，本组数据所有的字符全部是全角的。

2.人名地名

这个优化我做不太会做。感觉要识别出人名地名涉及到命名实体识别，这就很困难。

我的解法

我尝试了正向最大匹配法(V1)和双向最大匹配法(V2)，都加了数字和百分号小数点的优化。

1.正向最大匹配法(V1)

用训练集训练出一个字典。
对于测试集句子，从一个方向不断尝试

最低0.47元/天 解锁文章
pku_zzy
关注
专栏目录
基于词库的双向最大匹配算法（博文）
10-20
python 双向最大匹配算法 双向最大匹配算法 双向最大匹配算法
双向最大匹配算法
计算机编程开发学习交流的专栏
04-05 1908
双向最大匹配算法 简介# 双向最大匹配方法是基于词典的分词方法，按照一定的策略将分析的汉字串与字典里面的词条进行匹配，若在词典中找到某个字符串，则匹配成功。 根据扫描的方向可以分为正向最大匹配算法和逆向最大匹配 正向最大匹配算法（MM）# 正向的方向定义是从字符串下标0到字符串末尾位置，取出字串与字典进行匹配 初始化最大匹配长度MaxLen，当前位置pos（初始为0），处理结果为result 0.令len = MaxLen，取出pos到pos+len的子串，查找字典 1.若匹配到，则将子串.
双向最大匹配法分词
allan2222的博客
08-14 1134
# -*- coding: utf-8 -*- class BiMM(): def __init__(self): self.window_size = 3#字典中最长词数 def MMseg(self, text): result = [] index = 0 text_length = len(text) ...
中文分词：双向最大匹配实现
qq_41418281的博客
03-11 1190
背景 双向最大匹配法(Bi-directction Matching method,BM) 双向最大匹配法是将正向最大匹配法得到的分词结果和逆向最大匹配法的到的结果进行比较，从而决定正确的分词方法。据SunM.S. 和 Benjamin K.T.（1995）的研究表明，中文中90.0％左右的句子，正向最大匹配法和逆向最大匹配法完全重合且正确，只有大概9.0％的句子两种切分方法得到的结果不一样，但其...
基于规则分词的双向最大匹配法
fcpluto的博客
04-01 474
双向最大匹配法：将正反最大匹配法得到的分词进行比较，按照最大匹配原则，选取词数切分最少的作为结果。 Python代码如下： #逆向匹配 class RMM(): def __init__(self, dic_path): self.dictionary = set()#集合(set)，改成list也可以。 self.maximum = 0 ...
正向最大匹配中文分词算法
02-22
中文分词一直都是中文自然语言处理领域的基础研究。目前，网络上流行的很多中文分词软件都可以在付出较少的代价的同时...MM算法有三种：一种正向最大匹配，一种逆向最大匹配和双向匹配。本程序实现了正向最大匹配算法。
python正向最大匹配分词和逆向最大匹配分词的实例
09-19
在实际应用中，通常会发现正向和逆向分词各有优劣，因此，有时会采用双向最大匹配分词策略来提高分词的准确率。通过本篇文章提供的代码示例，读者可以学习并尝试实现这两种分词技术，并进一步探索如何提高分词效果和...
python正向最大匹配分词和逆向最大匹配分词
10-12
Python 正向最大匹配分词和逆向最大匹配分词是自然语言处理（NLP）中的重要技术，用于将文本拆分成单个词语，以便进行文本分析和处理。在本文中，我们将讨论 Python 实现的正向最大匹配分词和逆向最大匹配分词算法，...
中文分词程序-正向最大匹配算法及逆向最大匹配算法
02-01
运用正向最大匹配算法进行分析，同时也实现了逆向最大匹配，内有分词词典。
前向、后向、双向最大匹配分词
ExcaliburZY的博客
10-01 311
借鉴中文的前向、后向、双向最大匹配分词
自然语言处理——分词系统（双向最大匹配）
gary101818的博客
10-17 823
算法分析 双向最大匹配，顾名思义就是将正向最大匹配和逆向最大匹配结合在一起 具体算法，详见正向最大匹配 将而二者得到的结果进行比较 1.如果正反向分词结果词数不同，则取分词数量较少的那个。 2.如果分词结果词数相同 .a.分词结果相同，就说明没有歧义，可返回任意一个。 .b.分词结果不同，返回其中单字较少的那个。 代码实现 BMM.py #实现切词方法 def cut_words(raw_sentence, words_dic): #找到最大词的长度 max_length = max(len
双向最大匹配算法python_从零开始学自然语言处理（十）—— 最大匹配算法分词...
weixin_39655362的博客
11-23 477
前文传送门：从零开始学自然语言处理(一)—— jieba 分词从零开始学自然语言处理(二)—— jieba 黑科技从零开始学自然语言处理(三)——手把手带你用代码实现word2vec从零开始学自然语言处理(四)——手把手带你实现word2vec(skip-gram)从零开始学自然语言处理(五)—— 做 NLP 任务文本 id 化与预训练词向量初始化方法从零开始学自然语言处理(六)—— 词...
中文分词实现——双向最大匹配
热门推荐
追梦船的专栏
11-02 1万+
关于中文分词的一些基本介绍，可以看这篇博客《中文分词方法总结》。这里就不再进行详细介绍了。 双向最大匹配方法 双向最大匹配方法是一种基于词典的分词方法。基于词典的分词方法是按照一定策略将待分析的汉字串与一个“大机器词典”中的词条进行匹配，若在词典中找到某个字符串，则匹配成功。 按照扫描方向的不同：正向匹配和逆向匹配 按照长度的不同：最大匹配和最小匹配 正向最大匹配思想FM
python实现双向最大匹配法
计算机编程开发学习交流的专栏
04-05 1283
python实现双向最大匹配法 CSDN小马哥 于 2019-01-08 21:01:29 发布 2776 收藏 3 文章标签： python 中文分词技术 双向最大匹配法 自然语言处理 版权 -- coding: utf-8 -- “”" Created on Sat Jan 5 15:53:18 2019 @author: 86199 “”" class MM(): def init(self): self.window_size = 3 def cut(self,text): resu.
基于规则的双向最大匹配算法的分词
早点变成刘强东就好
05-27 824
双向最大匹配算法（Bi-directction Matching method）是将最大匹配法得到的分词结果和逆向最大匹配法得到的结果通过双向最大匹配算法的规则进行筛选而得到。 #-*- coding:utf-8 -*- ''' @project: exuding-nlp-all @author: texuding @time: 2019-05-27 15:45:46 ''' #正向最大匹配算法...
基于规则的双向最大匹配中文分词 Java
Chase1998的博客
10-21 701
1 概述 汉语自动分词是把没有明显分界标志的字串切分为词串。包括：标点符号、数字、数学符号、各种 标记、人名、地名、机构名等未登录词的识别。本篇博客使用Java编程语言实现基于规则的双向最大匹配算法，算是NLP里的一个hello world了。 2 理论描述 基于规则的自动分词算法 (1) 事先人工建立好分词词典和分词规则库。 (2) 原理为基于字符串匹配进行分词，这样就要 求有足够大的词表为依据...
自然语言处理系列十》中文分词》规则分词》双向最大匹配法
weixin_52610848的博客
02-02 521
此文章有对应的陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
中文分词用python实现双向最大匹配法，举例子
最新发布
05-30
好的，下面是一个用Python实现双向最大匹配法的中文分词函数，并附有一个例子： ```python def bi_directional_maximum_matching(text, word_dict): max_len = max([len(word) for word in word_dict]) result = [] while text: word = None # 从左向右最大匹配 for i in range(max_len): if text[:max_len - i] in word_dict: word = text[:max_len - i] result.append(word) text = text[max_len - i:] break # 如果从左向右匹配失败，从右向左最大匹配 if not word: for i in range(max_len): if text[-max_len + i:] in word_dict: word = text[-max_len + i:] result.append(word) text = text[:-max_len + i] break # 如果从右向左匹配失败，则取单字 if not word: result.append(text[0]) text = text[1:] return result ``` 使用该函数分词的例子： ```python word_dict = ['中文', '分词', '用', 'Python', '实现'] text = '中文分词用Python实现' result = bi_directional_maximum_matching(text, word_dict) print(result) ``` 输出结果为：`['中文', '分词', '用', 'Python', '实现']`。 在这个例子中，我们定义了一个包含若干中文词语的词典`word_dict`，然后对输入文本`text`进行分词。该分词函数会自动使用双向最大匹配法对文本进行切分，并返回分词后的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值