-
作用:
- 通常是基于一定得语料库,用N-gram来预计或者评估一个句子是否合理。
- 可以用来评估字符串之间的差异程度。
-
常见的应用:
-
基于N-Gram模型定义的字符串距离
-
利用N-Gram模型评估语句是否合理
- 使用N-Gram模型时的数据平滑算法
-
-
N-Gram在模糊匹配中的应用:
-
N-Gram距离,把字符串切分成每个长度为N的子字符串,计算共有子串等。
-
-
利用N-Gram模型评估语句是否合理(和前面外在不一样本质一样):
-
例1:语句不合理
- 例2:知道前面信息越多,对后面的约束越强。
- m个词的序列,由链式规则,计算P(w1,w2,⋯,wm)=P(w1)P(w2|w1)P(w3|w1,w2)⋯P(wm|w1,⋯,wm−1);马尔科夫链假设(当前这个词只和前面几个词有关)不必追溯到最开始的词,所以P(wi|w1,⋯,wi−1)=P(wi|wi−n+1,⋯,wi−1);最后可以利用最大似然法求出一组参数
-
N-gram
最新推荐文章于 2024-07-07 19:55:10 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)