分词用结吧分词器原因

1、中文分词技术是中文自然语言处理的第一项核心技术，在语言理解中，词是最小的语言成分，分词处理过程通过计算机将句子转化为词的表示。自中文自动分词技术被提出以来，目前已经出现了很多方法，可主要归纳为规则分词、统计分词和混合分词三类主要方法。

（1）基于规则的分词是一种机械分词方法，主要是通过维护词典，在切分语句时将语句的每个字符串与词表中的词进行逐一匹配，找到则切分，否则不予切分。

按照切分方式，主要有正向最大匹配、逆向最大匹配和双向最大匹配三种方法。双向最大匹配法是将正向最大匹配法得到的分词结果和逆向最大匹配法得到的结果进行比较，然后按照最大匹配原则，选取词数切分最少的作为结果。

（2）基于统计的分词模型其主要思想是把每个词看作是由词的最小单位的各个字组成的，如果相连的字在不同的文本中出现的次数越多，就证明这相连的字很可能就是一个词。其一般分为两步：首先建立统计语言模型，其次对句子进行单词分词，然后对划分的结果进行概率计算，获得概率最大的分词方式。

（3）基于混合的分词方法