N-gram

最新推荐文章于 2024-07-07 19:55:10 发布

咕噜咕噜day

最新推荐文章于 2024-07-07 19:55:10 发布

阅读量327

点赞数 1

分类专栏：语音学习文章标签： n-gram

本文链接：https://blog.csdn.net/qq_36533552/article/details/102529250

版权

N-Gram模型常用于评估句子合理性，计算字符串差异，并在模糊匹配、搜索引擎下拉提示、文本生成等方面有广泛应用。它基于马尔科夫链假设，通过数据平滑算法处理未见过的N-gram。例如，利用最大似然法训练模型参数，实现从作家语料库生成类似风格的文本。

摘要由CSDN通过智能技术生成

作用：
- 通常是基于一定得语料库，用N-gram来预计或者评估一个句子是否合理。
- 可以用来评估字符串之间的差异程度。
常见的应用：
- 基于N-Gram模型定义的字符串距离
- 利用N-Gram模型评估语句是否合理
- 使用N-Gram模型时的数据平滑算法
N-Gram在模糊匹配中的应用：
- N-Gram距离，把字符串切分成每个长度为N的子字符串，计算共有子串等。
利用N-Gram模型评估语句是否合理（和前面外在不一样本质一样）：
- 例1：语句不合理
- 例2：知道前面信息越多，对后面的约束越强。
- m个词的序列，由链式规则，计算P(w1,w2,⋯,wm)=P(w1)P(w2|w1)P(w3|w1,w2)⋯P(wm|w1,⋯,wm−1)；马尔科夫链假设（当前这个词只和前面几个词有关）不必追溯到最开始的词，所以P(wi|w1,⋯,wi−1)=P(wi|wi−n+1,⋯,wi−1)；最后可以利用最大似然法求出一组参数

关注