python中文分词代码_[代码全屏查看]-python 中文分词——FMM算法

[1].[代码] [Python]代码

import re

def PreProcess(sentence,edcode="utf-8"):

sentence = sentence.decode(edcode)

sentence=re.sub(u"[。,,!……!《》<>\"'::?\?、\|“”‘’;]"," ",sentence)

return sentence

def FMM(sentence,diction,result = [],maxwordLength = 4,edcode="utf-8"):

i = 0

sentence = PreProcess(sentence,edcode)

length = len(sentence)

while i < length:

# find the ascii word

tempi=i

tok=sentence[i:i+1]

while re.search("[0-9A-Za-z\-\+#@_\.]{1}",tok)<>None:

i= i+1

tok=sentence[i:i+1]

if i-tempi>0:

result.append(sentence[tempi:i].lower().encode(edcode))

# find chinese word

left = len(sentence[i:])

if left == 1:

"""go to 4 step over the FMM"""

"""should we add the last one? Yes, if not blank"""

if sentence[i:] <> " ":

result.append(sentence[i:].encode(edcode))

return result

m = min(left,maxwordLength)

for j in xrange(m,0,-1):

leftword = sentence[i:j+i].encode(edcode)

# print leftword.decode(edcode)

if LookUp(leftword,diction):

# find the left word in dictionary

# it's the right one

i = j+i

result.append(leftword)

break

elif j == 1:

"""only one word, add into result, if not blank"""

if leftword.decode(edcode) <> " ":

result.append(leftword)

i = i+1

else:

continue

return result

def LookUp(word,dictionary):

if dictionary.has_key(word):

return True

return False

def ConvertGBKtoUTF(sentence):

return sentence.decode('gbk').encode('utf-8')

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
中文分词是自然语言处理领域的一个重要问题。以下是几个常用的简易中文分词算法及其实现方式: 1. FMM 算法(正向最大匹配算法FMM 算法是最早的一种中文分词算法,其基本思想是从前向后扫描文本,按照词典中最长词的长度进行匹配。如果匹配成功,则将该词切分出来,继续扫描后面的文本。如果匹配不成功,则将当前字符作为单字切分出来,继续扫描后面的文本。 以下是 FMM 算法的简单实现方式: ```python def fmm(text, dictionary): result = [] i = 0 while i < len(text): for j in range(len(dictionary), 0, -1): if text[i:i+j] in dictionary: result.append(text[i:i+j]) i += j break else: result.append(text[i]) i += 1 return result ``` 其中,text 表示待分词的文本,dictionary 表示词典。该算法的时间复杂度为 O(n^2),在处理长度较长的文本时速度较慢。 2. pymmseg-cpp pymmseg-cpp 是一个基于 C++ 实现的中文分词库,可以通过 Python 调用其提供的接口进行分词。 以下是使用 pymmseg-cpp 进行中文分词的示例代码: ```python import mmseg def seg(text): algor = mmseg.Algorithm(text) result = [] for tok in algor: result.append(tok.text) return result ``` 3. smallseg smallseg 是一个简单的中文分词库,其实现方式类似于 FMM 算法。 以下是使用 smallseg 进行中文分词的示例代码: ```python from smallseg import SEG def seg(text): seg = SEG() result = [] for word in seg.cut(text): result.append(word) return result ``` 4. judou 句读 judou 句读是一个基于规则和机器学习的中文分词库,可以识别并切分一些特殊结构的短语,如时间、地点、人名、机构名等。 以下是使用 judou 进行中文分词的示例代码: ```python from judou import JudouTokenizer def seg(text): tokenizer = JudouTokenizer() result = tokenizer.tokenize(text, 'list') return result ``` 5. BECer-GAE BECer-GAE 是一个基于神经网络的中文分词库,可以识别出新词和未登录词。 以下是使用 BECer-GAE 进行中文分词的示例代码: ```python import becer def seg(text): model = becer.load_model() result = model.segment(text) return result ``` 以上是几种常用的简易中文分词算法及其实现方式,每种算法都有其优缺点,具体使用时需要根据实际情况进行选择。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值