导语
本篇主要对分词技术中基于统计的分词方法进行深入的探究,先是介绍了统计方法分词是什么以及一般步骤,随后介绍了语言模型,最后介绍了常见的统计算法(维特比算法),并实现了统计算法的分词。以下为文章结构,本篇内容干货满满:(阅读全文大概需要20分钟)内容概览
统计分词
1.统计的分词方法
基于统计的分词算法的主要核心是词是稳定的组合,因此在上下文中,相邻的字同时出现的次数越多,就越有可能构成一个词。因此字与字相邻出现的概率或频率能较好地反映成词的可信度。可以对训练文本中相邻出现的各个字的组合的频度进行统计,计算它们之间的互现信息。互现信息体现了汉字之间结合关系的紧密程度。当紧密程度高于某一个阈值时,便可以认为此字组可能构成了一个词。该方法又称为无字典分词。
2.步骤
1.需要构建语言模型
2.对句子进行单词划分,划分结果运用统计方法计算概率,获取概率最大的分词方式。(统计方法如隐马尔可夫模型HMM,条件随机场CRF)
统计语言模型
1.概念
自然语言处理的专家弗莱德里克·贾里尼克教授说过:一个句子是否合理,就看它的可能性大小如何。统计语言模型(Statistical Language Model)即是用来描述词、语句乃至于整个文档这些不同的语法单元的概率分布的模型,能够用于衡量某句话或者词序列是否符合所处语言环境下人们日常的行文说话方式。
好的统计语言模型需要依赖大量的训练数据,在上世纪七八十年代,基本上模型的表现优劣往往会取决于该领域数据的丰富程度。IBM 曾进行过一次信息检索评测,发现二元语法模型(Bi-gram)需要数以亿计的词汇才能达到最优表现,而三元语法模型(TriGram)则需要数十亿级别