数学之美笔记（2）

第3章    统计语言模型

统计语言模型产生的初衷是为了解决语音识别问题。

句子S发生的概率：

利用古德-图灵估计求解概率的方法是卡茨退避法，用来进行平滑

另一种平滑的方法是利用低阶语言模型和高阶语言模型进行线性插值，该方法不如卡茨规避法。

语料的选取：

训练数据通常越多愈好；

训练数据跟应用数据一致性

噪声，进行预处理

第4章     谈谈分词

1.      查字典

找最长的词匹配à最少次数的分词理论：对具有二义性的时候，就不能准确的分割了

2.      利用统计语言模型分词

动态规划，利用维特比算法快速地找到最佳分词

3.      衡量分词的结果

一致性：分词的不一致：越界型错误和覆盖型错误

                    颗粒度的不一致

颗粒度：翻译中颗粒度越大越好，网页搜索颗粒度越小越好

使用一个分词器同时支持不同层次的词的切分：基本词，复合词（由基本词构成）