python编程实现文本分词_Python:徒手创建分词函数

又发现一个牛逼的东西，值得记录~~~

分词方法有很多，其中最最基础的一个方法叫做最大正向匹配法，思路如下:百度到的某无名氏贡献的流程图

该方法会从一个字符串的第一个字符作为开始，以字典中最长的词的长度作为最大匹配长度。

对“正向最大匹配算法”进行解名：

①所谓“正向是指字符串生成的方向，即从句首到句尾这个方向，以句首为起点，从左到右地截取一定长度的字符串”，相应的，“逆向”是指从句尾到句首，以句尾为起点截取一定长度的字符串。

②所谓“最大”是指我们构建的分词词典中最长的字符串的字符个数。确定最长字符数的目的是为了在目标文本中一次性截取这么长的字符串，用于与字典中的字进行比较，如果这个字符串在字典中，则划分为一个词。

以切分字符串S“我在华东吃饭大学当饭桶‘’为例。现在有一个自建的词典，如下：

我

我们

你

你们

他

他们

那儿

哪儿

在

华东

大学

学院

学习

华东师范大学

华东吃饭大学

华东女子学院

女孩

女子

女人

男孩

男人

当

当然

饭

饭桶

吃

吃饭

……

(1)已知字典里面最长的词为6个字，那么在切分字符串S时，首先会从第一个字符开始连续截取6个字符，即”我在华东吃饭“