【Python自然语言处理】中文分词技术——统计分词

中文分词方法

本文参考自书籍《Python自然语言处理实战：核心技术与算法》
用做个人的学习笔记和分享

1. 规则分词

规则分词的详细笔记

2. 统计分词

2.1 一般步骤

1. 建立统计语言模型。
2. 句子划分为单词，对划分结果进行概率分析，获得概率最大的分词方式。
3. 常用统计学习算法：隐马尔可夫、条件随机场。

2.2 语言模型

语言模型的形式化描述：
长度为m的字符串的概率分布：
$$P(w_1,w_2,...,w_m)=P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)...P(w_m|w_1,w_2,...,w_{m-1})\text{\hspace{1em}(1)}$$
其中$w_1$到$w_m$依次表示文本中的各个词语，采用链式法则计算概率值。

n-gram模型：文本过长，计算难度大，可忽略距离大于等于n的上文词的影响：
$$P(w_i|w_1,w_2,...,w_{i-1})\approx P(w_i|w_{i-(n-1)},...,w_{i-1})\text{\hspace{1em}(2)}$$
一元模型：n=1，在一元语言模型中，整个句子的概率等于各个词语概率的乘积。言下之意就是各个词之间都是相互独立的，这无疑是完全损失了句中的词序信息。所以一元模型的效果并不理想：
$$P(w_1,w_2,...,w_m)=P(w_1)P(w_2)...P(w_m)\text{\hspace{1em}(3)}$$
二元模型：n=2，式(2)变为：
$$P(w_i|w$$