文本蕴含日记1——中文分词

1、什么是分词
分词是指将连续的字序列按照一定的规范重新组合成词序列的过程。简而言之，就是将一个句子中的字重新划分组合成词。
2、为什么要强调中文分词技术
之所以特地强调中文分词，是因为中文在行文上的特殊性。
以英文为代表的拉丁语系语言，英文以空格作为天然的分隔符，而中文词语之间没有分隔。古代汉语中除了连绵词和人名地名等，词通常就是单个汉字，所以当时没有分词书写的必要。而现代汉语中双字或多字词居多，一个字不再等同于一个词。所以现代汉语的基本表达单元虽然为词，但由于人们认识水平的不同，会将一个句子的词划分成不同的样子。
3、中文分词技术的作用
中文分词是***文本挖掘***的基础。对于输入的一端中文，如果可以成功的进行中文分词，可以实现电脑自动识别语句涵义。
中文分词对于搜索引擎来说，最重要的是把最相关的结果排在最前面，即***相关度排序***。从定性分析来说，搜索引擎的分词算法不同，词库的不同都会影响页面的返回结果。
4、算法分类
现有的分词算法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。按照是否与词性标注过程相结合，又可以分为单纯分词方法和分词与标注相结合的一体化方法。
（1）字符匹配
又叫机械分词方法，它是按照一定的策略将待分析的句子与一个充分大的
机器词典中的词条进行匹配，若在词典中找到某个字符串，则匹配成功，识别
出一个词。比如“武汉市长江大桥”，如果设置切词最大长度为5，则正向识别出
的就是“武汉市长江”、“大桥”；如果设置切词最大长度为4，则识别出“武汉市
长”、“江大桥”。所以这个方法容易出现歧义切分、未登录词识别问题。未登录
词指没有在切词词典中出现的词，例如人名，这样一般会被切成单字。
按照扫描方向的不同，字符串匹配分词方法可以分为正向匹配和逆向匹
配；按照不同长度优先匹配的情况，可以分为最大（最长）匹配和最小（最
短）匹配。
改进的方法有两种，一种方法是改进扫描方式，称为特征扫描或标志切
分，优先在待分析字符串中识别和切分出一些带有明显特征的词，以这些词作
为断点，可以将原句子分为较小的串再来进行机械分词，从而减少匹配的错误
率 。另一种方法是将分词和词类标注结合起来，利用丰富的词类信息对分词
决策提供帮助，并且在标注过程中又反过来对分词结果进行检验、调整，从而
极大地提高切分的准确率。
（2）理解法
通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就
是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现
象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控
部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分
词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大
量的语言知识和信息，目前还处在实验阶段。
（3）统计法
从形式上看，词是稳定的字的组合，因此在一篇文章中，相邻字同时出现
的次数越多，越有可能构成一个词，因此字与字相邻共现的频率能够较好的
反映成词的可信度。可以对语料中相邻共现的各个字的组合的频度进行统
计，计算它们的互现信息。定义两个字的互现信息，计算两个汉字X、Y的相
邻共现概率。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高
于某一个阈值时，便可认为此字组可能构成了一个词。
5、结巴分词
结巴分词涉及到的算法包括：基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG）；采用了动态规划查找最大概率路径，找出基于词频的最大切分组合；对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法。
结巴分词支持三种分词模式：
（1）精确模式：试图将句子最精确地切开，适合文本分析；
（2）全模式：把句子中所有的可以成词的词语都扫描出来，速度非常快，但是不能解决歧义问题。
（3）搜索引擎模式：在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。